Vercel veröffentlicht einen laufend aktualisierten Benchmark für Coding-Agenten auf realen Next.js-Aufgaben. Der Stand vom 10. September 2026 zeigt zwei sehr unterschiedliche Ranglisten, je nachdem, ob die Agenten zusätzliche Next.js-Dokumentation über AGENTS.md erhalten.
Claude Fable 5.1 mit Claude Code erreicht ohne Zusatzdokumentation 97 Prozent. Claude Opus 5 liegt bei 94 Prozent, GPT 6 Astra mit Codex bei 90 Prozent. Kimi K3 kommt auf 84 Prozent. GLM 5.2, Claude Sonnet 5, Cursor Composer 2.5 und MiniMax M3 erreichen jeweils 81 Prozent, Kimi K2.7 Code 74 Prozent.
Mit AGENTS.md steigt GPT 6 Astra auf 97 Prozent. Kimi K3 erreicht ebenfalls 97 Prozent. GLM 5.2 und Claude Sonnet 5 steigen von 81 auf 97 Prozent. Cursor Composer 2.5 kommt auf 94 Prozent, Kimi K2.7 Code auf 90 Prozent.
Was der Benchmark tatsächlich misst
Die Tests stammen aus dem öffentlichen Repository vercel/next-evals-oss. Jede Evaluation enthält eine kleine Next.js-Anwendung und einen Prompt. Der Coding-Agent arbeitet in einer isolierten Vercel-Sandbox. Danach laufen Assertions, die der Agent während seiner Arbeit nicht sehen kann.
Der veröffentlichte Erfolgswert ist pass@4. Eine Aufgabe zählt als bestanden, wenn mindestens einer von bis zu vier Versuchen erfolgreich ist. 97 Prozent bedeuten deshalb nicht, dass 97 Prozent aller einzelnen Agent-Läufe korrekt waren. Bei 97 Prozent der Aufgaben war mindestens ein Versuch erfolgreich.
Die Kostenwerte sind ebenfalls an diesen Testaufbau gebunden. Vercel berechnet den durchschnittlichen Listenpreis pro Evaluation aus den vom jeweiligen Provider gemeldeten Tokenmengen und öffentlichen Modellpreisen. Die Tabelle ist damit ein relativer Vergleich innerhalb der Evaluation, keine Prognose für die Kosten eines Produktionsprojekts.
AGENTS.md verändert mehrere Ergebnisse deutlich
Laut Next.js enthält die zusätzliche AGENTS.md gebündelte Next.js-Dokumentation für den Agenten. Das Frameworkwissen liegt damit direkt im Arbeitskontext.
GPT 6 Astra liegt ohne diese Dokumentation sieben Prozentpunkte hinter Claude Fable 5.1. Mit AGENTS.md erreichen beide 97 Prozent. Bei Kimi K3 beträgt der Sprung 13 Prozentpunkte, bei GLM 5.2 und Claude Sonnet 5 jeweils 16.
Daraus folgt nicht, dass Modellqualität unwichtig ist. Die stärksten Modelle schneiden auch ohne Zusatzkontext besser ab. Die Ergebnisse zeigen aber, dass ein Agentenvergleich nicht nur vom Modell abhängt, sondern auch davon, welche Informationen der Harness bereitstellt.
In einem echten Repository betrifft das mehr als Frameworkdokumentation. Ein Coding-Agent muss verwendete Befehle, Projektkonventionen, Testabläufe, Architekturgrenzen und technische Einschränkungen kennen. Fehlen diese Informationen, muss er sie aus Code, Konfiguration und Fehlermeldungen rekonstruieren.
Modell und Agent-Harness werden gemeinsam gemessen
Die Testmatrix hält den Harness nicht konstant. Claude läuft über Claude Code, GPT über Codex, mehrere offene Modelle über OpenCode und Cursor Composer über Cursor. Damit unterscheiden sich neben dem Modell auch Agentenschleife und Tooling.
Das Repository dokumentiert diese Trennung. Jede Experimentkonfiguration nennt den verwendeten Agenten. Die Läufe finden in Vercel Sandbox statt, Ergebnisse werden aus Transkripten und den nachgelagerten Assertions exportiert.
Eine Aussage wie „Claude Fable 5.1 ist grundsätzlich besser als GPT 6 Astra“ wird von diesem Benchmark deshalb nicht belegt. Gemessen wird eine konkrete Kombination aus Modell, Harness, Konfiguration und Projektwissen auf einem Next.js-Testset.
Für Next.js-Projekte ist Kontext ein messbarer Faktor
Quavon arbeitet bei Webprojekten mit Next.js. Für unseren eigenen Einsatz ist deshalb die Differenz zwischen den beiden Ergebnisspalten relevant. Wenn derselbe Agent auf demselben Testset mit Frameworkdokumentation deutlich mehr Aufgaben besteht, sollte die Repository-Konfiguration Teil eines Agentenvergleichs sein.
Eine AGENTS.md muss dafür nicht möglichst lang sein. Nützlich sind vor allem Angaben, die der Agent sonst suchen oder erraten müsste: die tatsächlich verwendeten Befehle, projektspezifische Regeln, relevante Architekturgrenzen sowie Anforderungen an Tests und Änderungen.
Der Benchmark beantwortet nicht, wie dieselben Agenten in einem großen Produktionsrepository mit historisch gewachsener Architektur abschneiden. Dafür sind die Aufgaben klein und auf Next.js zugeschnitten. Er liefert aber eine konkrete Zahl für einen Faktor, der in vielen Modellvergleichen fehlt: derselbe GPT-6-Astra/Codex-Stack steigt hier mit zusätzlicher Next.js-Dokumentation von 90 auf 97 Prozent.
Quellen: https://nextjs.org/evals https://github.com/vercel/next-evals-oss