Code aus KI-Assistenten ist regelmäßig unsicher. Mit 56,4 % bestätigt das mehr als die Hälfte der Studienteilnehmer, doch nur wenige stellen sich darauf ein: Ihre Security-Methodiken hinken den Anforderungen zur Absicherung dieser Tools hinterher – trotz nachweislicher Sicherheitsmängel.
KI-gestützte Coding-Tools sind erst seit kurzer Zeit auf dem Markt, konnten sich aber bereits auf breiter Basis etablieren. So auch in den Teams der 537 von uns befragten Experten und Führungskräfte aus Entwicklung und Security: 96 % haben sie im Einsatz, viele auch als festen Bestandteil ihrer Software-Lieferkette. Trotz der ausgedehnten Nutzung dieser Tools lässt die Sicherheit ihrer Code-Vorschläge aber regelmäßig zu wünschen übrig. So gab mehr als die Hälfte der Befragten zu Protokoll, dass Code aus KI-Assistenten häufig nicht sicher ist. Dennoch haben nicht einmal 10 % ihre Security-Scans weitreichend automatisiert. Hinzu kommt, dass ganze 80 % der Entwickler die Richtlinien ihrer Unternehmen zur KI-Nutzung umgehen. So sind neben den Ad-hoc-Risiken von KI auch ein übermäßiges Vertrauen in sowie eine potenziell zu große Abhängigkeit von der Technologie zu adressieren. Hierzu braucht es zunächst Aufklärung darüber, wie sich KI-gestützte Coding-Assistenten sicher nutzen lassen. Ebenso ist umfassende Security-Automatisierung erforderlich, um mit der KI-induzierten erhöhten Release-Frequenz Schritt halten zu können.
Teil 1
Die Sicherheitsrisiken KI-gestützter Coding-Tools sind so akut wie vielschichtig. Darüber hinaus führt unsere Studie aber auch zutage, dass Entwickler bestehende Richtlinien ihrer Unternehmen zur Nutzung von KI aktiv umgehen. Dies ist umso bedenklicher, da es an Kontrollmechanismen etwa in Form von automatischen Code-Scans weitgehend fehlt. Besonders risikobehaftet ist dabei Open-Source-Code. Denn KI-Assistenten beschleunigen die Release-Taktung nicht zuletzt auch durch ihre Vorschläge für Open-Source-Komponenten. Systematische Kontrollen zur Validierung ihrer Sicherheit werden hier jedoch kaum angesetzt.
Im Dezember 2022 sprach Stack Overflow auf seiner Coding-Q&A-Plattform ein Verbot für das Posten von Beiträgen aus, die mit der Hilfe von ChatGPT erstellt wurden. Als Erklärung dazu hieß es, ChatGPT liefere „im Schnitt zu wenig korrekte Antworten“. Diese Einschätzung deckt sich auch mit den Erkenntnissen weithin anerkannter Studien der New York University sowie der Stanford University, denen zufolge die Code-Vorschläge von KI-Assistenten mit hoher Konstanz unsicher sind. Den Studien zufolge war zudem der Code von Entwicklern, die sich stark auf diese Tools stützen, im Allgemeinen weniger sicher.
Interessant: In unserer Studie attestierten 75,8 % dem Code aus KI-gestützten Tools eine höhere Sicherheit als humangeneriertem. Dies ist nicht nur ein klares Anzeichen dafür, dass Unternehmen die Absicherung ihres SDLC nicht hinreichend an der Nutzung KI-gestützter Coding-Tools ausrichten. Es lässt auch auf erhebliche Defizite dahingehend schließen, wie sie ihre Tech-Teams über bekannte Risiken in diesem Zusammenhang aufklären.
Mit KI
Ohne KI
Ver- und Entschlüsselung
Nachrichtensignatur
Verzeichnis-Isolierung in Sandbox
SQL
Quelle: „Do Users Write More Insecure Code with AI Assistants?“, Stanford University
Zwar ist das Vertrauen der Studienteilnehmer in KI-Assistenten offenkundig ähnlich ausgeprägt wie die Nutzung. Zugleich räumen sie aber auch ein, dass diese Tools durchaus Sicherheitsprobleme verursachen – laut 56,4 % der Befragten gelegentlich oder sogar häufig.
Konsequente Checks und Audits für sämtlichen Code-Output aus KI-Assistenten sind somit unabdingbar, bestätigen die Befragten die hohe Fehleranfälligkeit dieser Tools damit doch quasi implizit. Die Sicherheit von Fixing-Vorschlägen KI-gestützter Tools bewerten 75,4 % der Befragten jedoch entweder als gut oder hervorragend. Dies legt eine kognitiv verzerrte Beurteilung nahe, die für die Anwendungssicherheit extrem gefährlich ist.
Häufig
20%
Gelegentlich
35%
Selten
34%
Nie
5%
Unsicher
3%
Hervorragend
Gut
Mäßig
Unzureichend
Nicht zutreffend
Nach Aussage der Mehrheit der Befragten ist die Nutzung von KI-Tools gemäß den Richtlinien ihres Unternehmens zumindest in einem gewissen Umfang gestattet. Dass Entwickler diese konsequent einhalten, konnten jedoch die wenigsten bestätigen. Offenbar ist also das Vertrauen in KI und die von ihr generierten Code-Elemente oder -Vorschläge größer als in die Richtlinien für ihre Nutzung.
Dies ist umso brisanter, als dass auf den immer weiter voranschreitenden Einsatz von KI nur zögerlich durch Auto-Scans zur Code-Absicherung reagiert wird. So gaben gerade einmal 9,7 % der Befragten an, 75 % oder mehr ihrer Security-Prozesse entsprechend angelegt zu haben. Mit der Hilfe von KI können Entwickler jedoch tendenziell mehr Code in kürzerer Zeit ausliefern. Um dafür ebenso wie für Fälle gewappnet zu sein, in denen bestehende Richtlinien nicht beachtet werden, sind automatisierte Security-Scans daher wichtiger als je zuvor.
Immer
23%
Meistens
31%
Vereinzelt
25%
Selten
12%
Nie
7%
1–25 %
26–50 %
51–75 %
76–100 %
„Ob KI-generiert oder von Entwicklern geschrieben, Code muss vor allem sicher sein. Umso wichtiger ist für mich daher die KI, mit der Snyk Code statische Code-Analysen und das jüngst verfügbare DeepCode AI Fix umsetzt. Denn damit entwickeln wir Software nicht nur schneller, sondern machen sie auch sicherer.“
Steve Pugh
CISO, ICE/NYSE
73,2 % der Befragten gaben an, aktiv Code zu Open-Source-Projekten beizutragen. Mit den Konzepten und Ideen hinter Open Source ist der breite Durchschnitt der Studienteilnehmer also vertraut. Nur bei wenigen waren jedoch in der Folge modernere Security-Methodiken festzustellen, anhand derer sich die Sicherheit der Code-Vorschläge von KI-Assistenten verlässlicher validieren lässt. So gaben nur 24,6 % an, hierfür Software Composition Analysis (SCA) zu nutzen. Fehlt es aber an passenden Kontrollen, könnten unsichere Open-Source-Komponenten im Fahrwasser der durch KI erhöhten Release-Dynamik immer schneller ihren Weg in Codebases finden.
KI-gestützte Coding-Tools optimieren ihren Output anhand von Algorithmen für bestärkendes Lernen. Die KI wird also darüber trainiert, welche ihrer Code-Vorschläge benutzerseitig akzeptiert werden. Enthalten diese nun unsichere Open-Source-Komponenten, ist es wahrscheinlicher, dass die KI diese fälschlicherweise als sicher einstuft. Hieraus kann ein gefährlicher Feedback-Loop entstehen, der sukzessive zu immer mehr unsicheren Code-Vorschlägen führt.
Ja
83%
Nein
16%
Abgleich von Details in Registry oder Package-Manager
Security-Ratings für Repositories
Community-Aktivitäten
Richtlinie zur koordinierten Veröffentlichung von Schwachstellen (z. B. SECURITY.md)
Security-Scorecard
SCA-Tool
Code-Reviews
Keinerlei Sicherheitschecks KI-generierter Vorschläge für Open-Source-Pakete
55,1 % der Befragten sehen KI-gestützte Coding-Tools bereits als Teil ihrer Software-Lieferkette an. In einer ebenso weitreichenden Justierung ihrer AppSec-Frameworks und -Prozesse spiegelt sich dies jedoch nicht wider. Zwar stellte die Mehrheit der Befragten fest, dass zumindest in einem Aspekt Anpassungen vorgenommen wurden. Insgesamt fielen die Ergebnisse jedoch eher dürftig aus.
Häufigere Security-Scans rangierten mit 18,4 % noch am höchsten in der Liste. Ursächlich für diese allenfalls ansatzweisen Veränderungen dürfte die fehlgeleitete Einschätzung sein, dass Code aus KI-gestützten Tools sicherer ist als humangenerierter. Veränderungen in Dev-Workflows mit solcher Tragweite erfordern jedoch mehr als nur Stückwerk. Vielmehr gilt es, alle damit verbundenen Risiken umfassend zu evaluieren, um so adäquat auf den neuen Status quo reagieren zu können.
Ja
55%
Nein
22%
Unsicher
19%
Nicht zutreffend
2%
Häufigere Code-Audits
Detailliertere Code-Audits
Häufigere Code-Scans
Implementierung neuer Tools
Security-Automatisierung
Implementierung neuer Security-Prozesse (SBOMs, SALSA etc.)
Keinerlei Anpassungen
Unser 10-Punkte-Plan für Entwickler und Security-Experten: So erschließen Sie die Vorteile KI-gestützter Programmierung vollumfänglich und behalten damit verbundene Risiken im Griff.
Teil 2
Trotz ihres Vertrauens in die Verlässlichkeit von KI-gestützten Coding-Tools stehen die allermeisten Entwickler ihr auch skeptisch gegenüber. Die größte Sorge dabei: allgemein mehr Unsicherheit infolge der Nutzung von KI und das Risiko, sich zu stark von ihr abhängig zu machen. Bei denjenigen, deren Unternehmen die Nutzung von KI reglementieren, gehen diese Vorgaben dementsprechend auch in erster Linie auf Bedenken um die Code-Qualität und -Sicherheit zurück. Ein signifikanter Anteil der Befragten stellt zudem fest, dass ihre AppSec-Teams nur schwer mit der schnelleren Code-Delivery Schritt halten, die KI im Dev-Prozess möglich macht. All dies deutet auf Justierungsbedarf auf Prozess- wie auch auf Technologieseite hin. Zum einen braucht es Tools zur umfassenderen Automatisierung von Security-Scans. Außerdem gilt es, Entwicklern die wahren Risiken KI-gestützter Coding-Assistenten klarer zu vermitteln.
Mit Blick auf potenzielle Auswirkungen der KI-Nutzung auf die Sicherheit äußerten sich die allermeisten Befragten zu einem mehr oder weniger hohen Grad besorgt. Dies also im exakten Widerspruch zum starken Vertrauen, das sie gegenüber der Verlässlichkeit des Codes aus KI-Assistenten sowie der Fähigkeit dieser Tools zum Ausdruck bringen, durch ihre Code-Vorschläge zu mehr Sicherheit beizutragen.
Erklären lässt sich dieser Zwiespalt durch ein gewisses Herdenverhalten: Da alle diese Tools nutzen, wird es ihnen gleichgetan und automatisch von ihrer Sicherheit ausgegangen. Bei rationaler Betrachtung werden sie sich dann aber doch über die Risiken und darüber im Klaren, dass KI mehr unsicheren Code generieren könnte als auf den ersten Blick oder ohne umfassendere Security-Methodiken erkennbar.
Große Bedenken
37%
Eingeschränkte Bedenken
49%
Keine Bedenken
13%
Bei einem geringen Teil der Unternehmen ist die Nutzung KI-gestützter Coding-Tools nur in eingeschränktem Rahmen zulässig oder sogar vollständig untersagt. Als Grund werden am häufigsten Bedenken um die Code-Sicherheit (57 %) genannt, gefolgt von Datenschutz und Code-Qualität mit 53,8 % bzw. 46,4 %. Insgesamt wogen Sicherheitsfragen in diesem Kontext am schwersten, in denen Bedenken auf Leadership-Ebene um potenziell negative oder nicht mitigierte Auswirkungen von KI-generiertem Code Ausdruck fanden.
Sicherheitsbedenken
Bedenken um Datenschutz
Bedenken um Code-Qualität
Bedenken um Kostenkontrolle
Skepsis auf Leadership-Ebene
Nichts von alledem
Im Kontext von KI-gestütztem Coding kommt häufig die Frage auf, ob Entwickler durch diese Technologien letztlich irgendwann keinen Code mehr selbst schreiben oder Kernprozesse der Programmierung verlernen könnten. In diese Richtung deuten einige Studien. Durch einen übermäßigen Einsatz hochentwickelter KI konnten die Teilnehmer erfolgreiche, aber nicht standardkonforme und untypische Lösungsansätze weniger leicht erkennen. Bei 45 % der von uns Befragten waren entsprechende Bedenken ebenfalls festzustellen, bei 40 % waren sie stark ausgeprägt. Demzufolge ist ihnen also durchaus bewusst, welche Risiken damit einhergehen, ihre Arbeit zu sehr in die Hände von KI zu geben.
Große Bedenken
40%
Eingeschränkte Bedenken
46%
Keine Bedenken
14%
Ob in punkto Release-Taktung oder Code-Output: Die durch KI gesteigerte Dev-Produktivität schlägt sich auf Seiten der AppSec-Teams in Mehrbelastung nieder, mit der sie mitunter nur schwer Schritt halten können. So sah mehr als die Hälfte der Befragten hier gewisse Herausforderungen für ihre AppSec-Teams, ein Fünftel sogar erhebliche. Überraschend ist dies nicht unbedingt – vorausgesetzt, KI-gestützte Coding-Tools werden zielführend eingesetzt. Deutlich wird hier aber auch, was ihre Nutzung für einen Prozess bedeutet, der schon mit der Taktung der Software-Entwicklung ohne KI oft nur schwerlich mithalten konnte.
Deutlich überlastet
20%
Mäßige Mehrbelastung
38%
Wird gut bewältigt
35%
Keinerlei Probleme
6%
Fazit
So überzeugt, wie Entwickler von der Sicherheit von KI-generiertem Code sind, so nachdrücklich zeigen Studien, dass er dies allzu oft nicht ist. Umso deutlicher wird dieser Widerspruch auch in unserer Umfrage. Denn eine Mehrheit der Teilnehmer (so auch Security-Experten) hält Code-Vorschläge aus KI-Assistenten für sicher – registriert aber ebenso regelmäßig Sicherheitsprobleme im Zusammenhang mit ihnen.
Das Kernproblem liegt in mangelnder Aufklärung und fehlgeleiteten Annahmen. Ursächlich ist die Tendenz des Menschen, sich dem Meinungsbild der breiten Masse anzuschließen und vermeintlichen Themen-Autoritäten zu vertrauen. Allein dadurch, dass Code aus KI gemeinhin als ergebnisgenauer und weniger fehleranfällig gilt als humangenerierter, wird diese vollkommen unbelegte Ansicht so schließlich von vielen als faktisch gegeben übernommen. Entgegenwirken können Unternehmen dieser gefährlichen Fehleinschätzung auf zweierlei Weise: Ihren Teams konsequent die Schwächen der Risiken aufzeigen und zugleich KI-generierten Code durchgängig absichern – mit bewährten Tools, die sich nachweislich als effektiv für Code-Security bewährt haben.
Ob zur Code-Vervollständigung oder -Generierung, KI ist auch in der Software-Entwicklung auf dem Vormarsch. Umso wichtiger war es für uns, ein klareres Bild davon zu zeichnen, wie Unternehmen diesen Technologien gegenüberstehen und wie sie sie derzeit nutzen. Hierzu haben wir eine Umfrage mit 30 relevanten Punkten unter 537 Teilnehmern aus Funktionsbereichen mit Technologie-Fokus durchgeführt. Die Unternehmen stammten aus den USA (45,3 %), dem Vereinigten Königreich (30,9 %) und Kanada (23,6 %). Nach Angaben der Studienteilnehmer zu ihren spezifischen Rollen waren 42,1 % mit Management-Verantwortung in der Software-Entwicklung und 37,6 % als Developer tätig. 30,9 % hatten Rollen im IT-Management, 30,7 % im Security-Management – ein signifikanter Anteil der Befragten agierte also in leitenden Positionen. In der Umfrage vertreten waren verschiedene Branchen. SaaS/Technologie war mit 21 % der einzige Bereich, auf den mehr als ein Fünftel der Befragten entfiel. Nur Anbieter von Business-Services (17,1 %) und Finanzdienstleister und Fintechs (11,2 %) waren mit jeweils mehr als 10 % vertreten. Die Mehrheit der Befragten konzentrierte sich mit 48,6 % auf kleinere Unternehmen mit bis zu 500 Mitarbeitern; Unternehmen mit mehr als 5.000 Mitarbeitern nahmen einen Anteil von 12,8 % ein. Breit gefächert war auch die Auswahl der eingesetzten Tools: Angeführt von Spitzenreiter ChatGPT mit 70,3 % rangierten dabei Amazon CodeWhisperer (47,4 %), GitHub Copilot (43,7 %), IntelliCode für VisualStudio von Microsoft (35,8 %), und Tabine (19,9 %) ganz oben in der Liste. Die hohen aggregierten Werte gehen auf die mögliche Mehrfachauswahl bei dieser Frage zurück. Einige der Befragten nutzen je nach Use Case also unterschiedliche KI-Tools.