Eine am 10. Oktober veröffentlichte und am 14. Oktober aktualisierte Untersuchung der National University of Singapore und des Qwen-Teams misst eine deutliche Lücke zwischen funktionierendem und sicherem Code aus Coding-Agenten. In 450 Aufgaben bestanden sechs getestete Frontier-Agenten zwischen 73,6 und 91,3 Prozent der Funktionstests. Bei der gemeinsamen Anforderung aus Funktion und Sicherheit lag selbst das beste Ergebnis nur bei 25,1 Prozent.
Die Aufgaben erwähnten Sicherheit absichtlich nicht
Der Last Secure Code Benchmark (LSCBench) basiert auf 150 realen Schwachstellenszenarien. Jedes Szenario wurde in drei Programmieraufgaben übersetzt: eine Funktion ergänzen, eine Datei erstellen und einen größeren Repository-Ausschnitt bearbeiten. Daraus entstanden 450 Aufgaben in sieben Sprachen und 24 CWE-Schwachstellenklassen.
Die Aufgabenbeschreibungen nannten ausschließlich das gewünschte Verhalten der Software. Hinweise auf den zugrunde liegenden Sicherheitsfehler fehlten. Die Autoren prüften anschließend mit getrennten, versteckten Tests, ob der Code die Funktion erfüllte und ob er den bekannten Fehler vermied.
Diese Testkonstruktion beantwortet eine andere Frage als ein Benchmark zur gezielten Reparatur bekannter CVEs. Ein Agent konnte die Aufgabe erfolgreich abschließen, obwohl sein Code eine Schwachstelle aus dem Ausgangsszenario erneut enthielt. Der niedrigere Sicherheitswert ist daher nicht einfach eine schlechtere allgemeine Programmierleistung.
Mehr Bearbeitungsschritte machten den Code nicht automatisch sicher
Die Autoren berichten, dass zusätzliche Agentenschritte Sicherheitsfehler nicht zuverlässig beseitigten. Auch eine größere Bearbeitungseinheit führte nicht automatisch zu besserem Sicherheitsverhalten. Beim besten getesteten Modell waren nur zwölf Prozent der 150 Szenarien in allen drei Bearbeitungsformen gleichzeitig funktional und sicher gelöst.
Die Werte gelten für die ausgewählten Aufgaben und die getesteten Modellversionen. Sie belegen nicht, dass 75 Prozent aller mit AI geschriebenen Produktionsanwendungen verwundbar sind. Die Aufgaben wurden aus bereits bekannten Sicherheitsfehlern konstruiert und sind deshalb absichtlich sicherheitskritisch.
Eine weitere Beobachtung der Autoren betrifft Sicherheitsanforderungen, die in der Funktionsbeschreibung gar nicht vorkommen. Wenn eine Anwendung zum Beispiel eine Zugriffspolitik benötigt, diese aber nicht spezifiziert ist, kann ein Coding-Agent die korrekte Berechtigung nicht verlässlich aus der reinen Funktionsbeschreibung ableiten.
Funktionstests reichen als Abnahme nicht aus
Für Teams, die Coding-Agenten produktiv einsetzen, liefert LSCBench eine konkrete Prüffrage: Gibt es für sicherheitsrelevante Änderungen neben den normalen Funktionstests auch Tests für Berechtigungen, Datenzugriffe und Fehlerfälle? Ein erfolgreiches Build oder ein grüner Funktionstest deckt diese Eigenschaften nicht ab.
Die Zahlen stammen aus einer wissenschaftlichen Vorveröffentlichung. Eine unabhängige Wiederholung mit denselben Aufgaben und Modellversionen liegt noch nicht vor.
Quellen: LSCBench, arXiv:2610.14766, Version vom 14.10.2026: https://arxiv.org/abs/2610.14766 ; externe Einordnung vom 15.10.2026: https://agentry.news/coding-agents-hit-91-functional-tests-but-only-25-secure