Eine auf der Black Hat USA 2022 erneut behandelte Sicherheitsstudie zeigt Grenzen früher Copilot-Vorschläge. Die Forscher ließen das Werkzeug 89 ausgewählte Szenarien vervollständigen und erhielten 1.689 Programme. Rund 40 Prozent stuften sie als verwundbar ein. Die Studie Asleep at the Keyboard bewertet Programme, nicht den Anteil unsicherer Codezeilen. Die Quote ist auch keine repräsentative Fehlerquote für beliebige Entwicklungsaufgaben.
Gezielte Tests mit einer frühen Vorschauversion
Hammond Pearce und seine Mitautoren untersuchten die technische Vorschau von GitHub Copilot im Jahr 2021. Ihre Aufgaben orientierten sich an bekannten Schwachstellenklassen und umfassten C, Python und Verilog. Für die Bewertung nutzten sie CodeQL sowie manuelle Prüfungen. Das bei Black Hat bereitgestellte Whitepaper beschreibt Versuchsaufbau und Grenzen. Die Untersuchung war bereits im August 2021 als Vorabveröffentlichung erschienen und für das IEEE Symposium on Security and Privacy 2022 angenommen worden.
Die Ergebnisse sind vom allgemeinen Copilot-Verkaufsstart für Einzelentwickler im Juni 2022 zu unterscheiden. Der damalige Test bewertet die frühere Vorschau, nicht die zum Verkaufsstart verfügbare Fassung. Aus ihm lässt sich daher keine unveränderte Fehlerquote für spätere Modelle ableiten.
Kein Vergleich mit einer menschlichen Kontrollgruppe
Die Arbeit misst, ob der Assistent in den gewählten Situationen unsichere Vorschläge erzeugt. Sie zeigt nicht, dass Entwickler mit Copilot grundsätzlich unsichereren Code schreiben als ohne das Werkzeug. Dafür fehlt ein entsprechender Vergleich mit menschlichen Entwicklern. Eine kausale Aussage, Copilot mache Code unsicherer, wäre deshalb durch diesen Versuchsaufbau nicht gedeckt.
Die Autoren nennen außerdem begrenzte Stichproben je Szenario, mögliche Fehlklassifikationen durch CodeQL und diskutierbare manuelle Bewertungen. Die geschlossene, serverseitig betriebene Software erschwert die Reproduktion. Für Entwicklungsteams folgt daraus als redaktionelle Konsequenz: Auch plausibel wirkende Vorschläge benötigen Reviews und Sicherheitstests. Das gilt beispielsweise für Build-Werkzeuge und Backend-Code in Spieleprojekten; eine zusätzliche spielebezogene Fehlerquote hat die Studie nicht ermittelt.