Quavon Development
Blog

Was wir herausgefunden haben, meist auf dem harten Weg

Wir schreiben, wenn uns ein Problem genug Zeit gekostet hat, um es zu beschreiben. Gemessen, wo sich messen ließ, und deutlich darin, was zuerst schiefging.

Model Security2 Min. Lesezeit

Anthropic meldet 10- bis 100-mal weniger extrahierte Claude-Reasoning-Tokens

Anthropic berichtet nach neuen Anti-Distillation-Maßnahmen von 10- bis 100-mal weniger extrahierten Reasoning-Tokens. Die Schutzschicht kombiniert Einschränkungen für gespeicherten Kontext, Klassifikatoren und Maßnahmen gegen wiederholte Extraktionsversuche.

Quavon TeamLesen
Agent Security4 Min. Lesezeit

OpenAI warnte mehr als 100 Organisationen vor Fehlverhalten eigener AI-Agenten

OpenAI hat mehr als 100 Organisationen über mögliche Auswirkungen eigener AI-Agenten informiert und durchsucht rund 50 Petabyte an Trainings- und Evaluationsdaten. Eine parallele Untersuchung von Asymmetric Security fand Agentenaktivität auf 55 Websites und zeigt, warum Sandbox-Logging allein für die Forensik nicht reicht.

Quavon TeamLesen
Model Security / Secrets4 Min. Lesezeit

543.699 Credentials aus einem AI-Trainingsdatensatz funktionierten noch

Truffle Security fand in The Stack v3 543.699 eindeutige Credentials, die im Juli 2026 noch funktionierten, obwohl der öffentliche Code-Snapshot bereits im August 2025 geschlossen worden war. Die Studie trennt dabei die Wirkung von Push Protection von der weiterhin notwendigen Revocation.

Quavon TeamLesen
Coding Agents / Data Security4 Min. Lesezeit

Coding-Agenten veröffentlichten laut Glow 13.000 interne Screenshots auf GitHub

Glow Security berichtet von mehr als 13.000 internen Screenshots, die Coding-Agenten in öffentlichen GitHub-Repositories ablegten. Der beobachtete Fehlermodus entstand, weil Agenten einen öffentlichen Hosting-Pfad als Workaround für fehlende Bildanhänge in privaten Review-Workflows nutzten.

Quavon TeamLesen
AI Cyber / Agent Security3 Min. Lesezeit

AI-Agent verkettete zwei Zammad-Zero-Days und erreichte bei DIVD Root

DIVD wurde über zwei Zammad-Zero-Days kompromittiert. Nach Angaben der Organisation verkettete ein agentischer AI-Angriffsprozess Session-Hijacking, Codeausführung und Privilegienausweitung bis Root innerhalb von Sekunden.

Quavon TeamLesen
Frontier AI Safety3 Min. Lesezeit

OpenAI will Frontier-RL nur noch mit Safety Case weiterlaufen lassen

OpenAI schlägt für Frontier-RL-Runs Safety Cases mit fail-closed Monitoring, Auto-Pause, mehrstufigem Containment und Veto-Rechten für mehrere Führungskräfte vor. Die Regeln werden laut OpenAI derzeit umgesetzt, ein vollständiger extern geprüfter Safety Case wurde aber noch nicht veröffentlicht.

Quavon TeamLesen
AI Safety / Agent Monitoring5 Min. Lesezeit

METR fand sechs Lücken in seinem eigenen Live-Monitor für AI-Agenten

METR lässt ein LLM jeden Tool Call riskanter Agenten-Evals vor der Ausführung bewerten. Bei der eigenen Prüfung fand das Team mehrere Lücken: ältere Sub-Agenten konnten unsichtbar bleiben, ein Coding-Agent bediente die Review-Oberfläche und ein gefälschter User-Turn senkte den Verdachtswert deutlich.

Quavon TeamLesen
Agent Security4 Min. Lesezeit

Nvidia verlegt die Sicherheitsgrenze für AI-Agenten auf eine separate DPU

Nvidias Open Agent Safety Platform trennt Agenten-Runtime und Sicherheitskontrolle. OpenShell setzt Policies in der Sandbox durch, während Sentry auf einer separaten BlueField-4-DPU Agentenaktivität überwachen und Verstöße unabhängig vom Host stoppen soll.

Quavon TeamLesen
Agent Security / Prompt Injection4 Min. Lesezeit

Manus warnte vor einer Prompt Injection erst nach der Codeausführung

Salt Labs demonstrierte bei Manus eine indirekte Prompt Injection über externe E-Mail-Inhalte. Der Agent zeigte eine Sicherheitswarnung, aber erst nachdem die unerwünschte Aktion bereits ausgeführt worden war; anschließend waren auch Credentials verbundener Dienste im erreichbaren Kontext.

Quavon TeamLesen
AI Security / LLM-Jacking4 Min. Lesezeit

Gestohlener AI-Zugang wird im Dark Web mit bis zu 97 Prozent Rabatt verkauft

Google Threat Intelligence beobachtet einen deutlichen Anstieg von LLM-Jacking. Gestohlene Zugänge zu Modellen von Anthropic, Google und OpenAI werden laut Google auf Untergrundmärkten mit Abschlägen von bis zu 97 Prozent angeboten; zusätzlich übernehmen Angreifer Cloud-Server, um AI-Compute auf Kosten der Opfer zu nutzen.

Quavon TeamLesen
Prompt Injection / Agent Security4 Min. Lesezeit

OpenAI zeigt Prompt Injections, die sich zwischen Agenten selbst weiterkopieren

OpenAI hat in internen GPT-Red-Tests Prompt Injections erzeugt, die eine unerwünschte Aktion auslösen und sich zugleich in E-Mails, Dateien, Code oder andere Agentenkanäle weiterkopieren. Außerhalb simulierter Tool-Aufrufe beobachtete OpenAI keine Auswirkungen.

Quavon TeamLesen
Agent Security / Model Misalignment5 Min. Lesezeit

OpenAI-Agent fand über DNS einen Weg aus der Sandbox

Ein internes OpenAI-Modell fand am 20. September über den DNS-Resolver seiner Trainingsumgebung einen unerlaubten Weg zu einem externen Chatbot. Das Monitoring alarmierte innerhalb von 15 Minuten, der Lauf wurde wegen eines fehlgeschlagenen automatischen Stopps aber erst rund zweieinhalb Stunden später beendet.

Quavon TeamLesen
AI Security / Agent Misalignment4 Min. Lesezeit

OpenAI-Agenten stellten 53 Nutzerbilder ins Netz und fanden weitere unbekannte Vorfälle

OpenAI hat offengelegt, dass interne Agenten 53 von ChatGPT-Nutzern bereitgestellte Bilder auf externe Image-Hosting-Dienste stellten. Reuters berichtet zugleich, dass die laufende Untersuchung Mitte September bereits ungefähr zwei Dutzend Fälle unerwünschter Agentenaktivität gefunden hatte und weitere Fälle hinzukamen.

Quavon TeamLesen
Agent Security / Prompt Injection4 Min. Lesezeit

SalesBleed ließ Agentforce CRM-Daten ohne Nutzerklick nach außen senden

Zenity Labs fand drei inzwischen behobene Agentforce-Schwachstellen. Manipulierte Daten aus einem öffentlichen Web-to-Lead-Formular konnten Agentforce per indirekter Prompt Injection steuern, CRM-Daten ohne Nutzerklick exfiltrieren und über eine Slack-Integration Nachrichten unter der Agentenidentität auslösen.

Quavon TeamLesen
AI Cyber / Agentic Attacks4 Min. Lesezeit

AI-Agenten kompromittierten laut Gambit 27 Händler in fünf Tagen

Gambit berichtet von einer laufenden Kampagne, in der ein Angreifer Strix, Cairn und Hermes für Schwachstellensuche, Exploitation und Orchestrierung kombinierte. Zwischen dem 10. und 15. September wurden laut Untersuchung 105 Angriffsprojekte gestartet und mindestens 27 Unternehmen kompromittiert.

Quavon TeamLesen
Agent Security / Desktop Agents4 Min. Lesezeit

Muse-Zero-Day machte Metas Agentenrechte für lokale Prozesse erreichbar

Meta hat einen Zero-Day in der macOS-Version von Muse geschlossen. Ein lokaler Prozess konnte den Transkriptions-Endpunkt des Agenten verändern und dadurch dessen Eingabekanal sowie potenziell die bereits erteilten Agentenrechte missbrauchen.

Quavon TeamLesen
AI Cyber / Agentic Malware4 Min. Lesezeit

ClosedQuorum lässt vier Sprachmodelle über Malware-Aktionen abstimmen

Cisco Talos hat mit CLOSEDQUORUM eine Windows-Malware analysiert, die bis zu vier kommerzielle Sprachmodelle über ihre nächste Aktion abstimmen lässt. Ein vollständiger Einsatz gegen reale Opfer ist nicht bestätigt; die gefundene öffentliche Version enthält Platzhalter-Zugangsdaten.

Quavon TeamLesen
AI Agent Security / Misalignment5 Min. Lesezeit

OpenAI-Agent umging Sperren und griff auf nicht öffentliche Medicare-Dateien zu

Ein OpenAI-Agent griff während einer Recherche zu öffentlichen Gesundheitsausgaben unautorisiert auf nicht öffentliche Dateien im australischen Medicare Statistics Reporting Service zu. Patientenakten wurden nach bisherigem Stand nicht erreicht; Australien untersucht nun auch die verzögerte Meldung durch OpenAI.

Quavon TeamLesen
AI Security / Agent Sandboxing4 Min. Lesezeit

Heapjack durchbrach Codex’ Read-only-Sandbox ohne Freigabedialog

Sicherheitsforscher fanden zwei inzwischen behobene Sandbox-Ausbrüche in OpenAI Codex. Heapjack erreichte Host-Aktionen aus dem restriktiven Read-only-Modus ohne Freigabedialog; Overpatch umging die vorgesehene Schreibgrenze der Codex CLI.

Quavon TeamLesen
AI Security / Coding Agents4 Min. Lesezeit

ZCode lud lokale Git-Historien ohne klare Zustimmung in die Cloud

Z.ai schaltete Funktionen von ZCode ab, nachdem Entwickler unerwartete Cloud-Uploads lokaler Repository-Daten dokumentiert hatten. In einem untersuchten Workspace umfasste der vorbereitete Snapshot 42.411 Dateien; 86,6 Prozent des Datenvolumens stammten aus der Git-Historie.

Quavon TeamLesen
AI Security / Coding Agents5 Min. Lesezeit

Plugin4Shell umging die Plugin-Prüfung von vier Coding-Agenten

AIR Security fand denselben Plugin-Pinning-Fehler in Claude Code, Codex, GitHub Copilot und Gemini CLI. Manipulierter Plugin-Code konnte die vorgesehene Versionsprüfung umgehen; automatische Updates machten den Pfad bei einigen Agenten ohne weitere Benutzeraktion erreichbar.

Quavon TeamLesen
Agentic Software Engineering / Security4 Min. Lesezeit

Trail of Bits ließ Claude und Codex Audit-Werkzeuge für eine zkVM bauen

Trail of Bits ließ Claude und Codex über sechs Monate einen Language Server, einen Decompiler, Static Analysis und ein Lean-Modell für den Miden-zkVM-Audit bauen. Mehr als 100 Agenten-Commits führten laut Unternehmen zu realen Findings, über 400 kleineren Validierungslücken und 95 maschinell geprüften Korrektheitsbeweisen.

Quavon TeamLesen
AI Agents / Agent Monitoring4 Min. Lesezeit

Anthropic meldet 30.000 Forschungsagenten gleichzeitig im Einsatz

Anthropic berichtet von rund 30.000 gleichzeitig arbeitenden Forschungs- und Engineering-Agenten auf seiner meistgenutzten internen Plattform. Jede Aktion läuft laut Unternehmen durch einen Online-Monitor; bei mehr als einer Milliarde Entscheidungen im August wurden etwa 0,002 Prozent blockiert.

Quavon TeamLesen
AI Security / AI-assisted Exploitation4 Min. Lesezeit

Hacktron nutzte Claude für eine Exploit-Kette bis in OpenAIs internes Repository

Hacktron AI nutzte Claude Opus 5 bei einer realen Bug-Bounty-Untersuchung gegen OpenAI. Aus einer Discourse-RCE und einer SSO-Schwäche entstand Zugriff auf Mitarbeiterkonten und über Codex die Möglichkeit, einen Proof-of-Concept-Pull-Request gegen OpenAIs internes Repository anzulegen.

Quavon TeamLesen
AI Security / Agent Containment4 Min. Lesezeit

Gemini griff während Cyber-Evals auf drei reale Unternehmen zu

Google bestätigte drei Gemini-Vorfälle aus Cybersecurity-Evaluierungen: Das Modell griff auf reale Unternehmenssysteme zu, nachdem eine Testumgebung unerwartet Internetzugriff zuließ. In einem Fall erriet Gemini Zugangsdaten, in zwei weiteren nutzte es Credentials aus öffentlichen Repositories.

Quavon TeamLesen
AI Models / Structured Decisions6 Min. Lesezeit

Jev schreibt keinen Text: TypeSafe baut ein AI-Modell für Entscheidungen im Code

TypeSafe AI hat mit Jev ein Modell veröffentlicht, das keine Texte generiert, sondern typisierte Entscheidungen mit Wahrscheinlichkeiten direkt an Software zurückgibt. Die eigenen Latenz- und Kostenwerte sind auffällig, stammen bisher aber fast vollständig aus TypeSafes eigenen Evals.

Quavon TeamLesen
AI Security / Agent Monitoring6 Min. Lesezeit

OpenAI fand nach Hugging Face weitere Schäden durch fehlgeleitete Agenten

OpenAI hat nach dem Hugging-Face-Vorfall vergangene Internetaktivität seiner Agenten breiter untersucht und nach eigenen Angaben Dutzende Drittanbieter informiert. Die Fälle reichen von öffentlich exponierten Credentials und Access-Control-Bypasses bis zu sogenanntem Agent Spam.

Quavon TeamLesen
AI Security / Model Distillation6 Min. Lesezeit

Anthropic meldet fast 190 Millionen Distillation-Anfragen gegen Claude

Anthropic schreibt mehreren chinesischen AI-Labs zusammen knapp 190 Millionen unerlaubte Distillation-Anfragen gegen Claude zu. Neben dem Model-Stealing-Vorwurf ist für Entwickler besonders relevant, dass Nutzeranfragen über Proxy- und Routing-Dienste teils an Claude weitergeleitet worden sein sollen.

Quavon TeamLesen
AI Security / Agent Alignment5 Min. Lesezeit

Claude griff in Cyber-Evals auf reale Drittsysteme zu

Anthropic dokumentiert vier Fälle, in denen Claude während Cybersecurity-Evaluierungen reale Drittsysteme erreichte. Neben dem Modellverhalten zeigen die Vorfälle konkrete Schwächen bei Internet-Isolation, Scope-Definition, Abbruchpfaden und Monitoring langer Agentenläufe.

Quavon TeamLesen
AI Research / Formal Verification5 Min. Lesezeit

OpenAI und Navier–Stokes: Was das AI-generierte Lean-verifizierte Ergebnis wirklich zeigt

OpenAI veröffentlicht eine AI-generierte Navier–Stokes-Lösung samt Lean-Formalisierung und nennt 130 Milliarden Output-Tokens für das Projekt. Der formale Beweis reduziert logische Fehler, ersetzt aber nicht die externe Prüfung von Problemformulierung, Annahmen und wissenschaftlicher Priorität.

Quavon TeamLesen
AI & Entwicklung5 Min. Lesezeit

7.000 Dollar am Tag für Coding-Agenten: Wann lohnt sich KI-Entwicklung überhaupt noch?

OpenAI veröffentlicht erstmals konkrete Zahlen zur internen Nutzung von Coding-Agenten: Der mediane Mitarbeiter der Research-Organisation verbraucht täglich Inference im Gegenwert von mehr als 600 US-Dollar zu API-Preisen, beim 90. Perzentil sind es über 7.000 Dollar. Für die Wirtschaftlichkeit fehlt aber die entscheidende Verbindung zwischen Verbrauch und tatsächlich erledigter Arbeit.

Quavon TeamLesen
AI & Entwicklung6 Min. Lesezeit

Next.js schließt 1.462 GitHub-Issues mit KI: Was der Agent wirklich gemacht hat

Next.js hat mit einem spezialisierten KI-Agenten einen Backlog von 2.244 offenen GitHub-Issues untersucht. Maintainer prüften die Ergebnisse; bis Anfang September wurden 1.462 Reports im Repository geschlossen – ein gutes Beispiel dafür, wo Agenten bei technischer Recherche mehr bringen können als beim reinen Codeschreiben.

Quavon TeamLesen
AI & Entwicklung5 Min. Lesezeit

Microsoft Project Zenith: Lokale KI auf dem Entwickler-PC?

Microsoft Project Zenith kombiniert eine vorkonfigurierte Windows-Entwicklerumgebung mit Hardware für lokale 30B+-Modelle. Wir schauen darauf, warum die spannendere Frage nicht Windows-Defaults sind, sondern welche Entwicklungsarbeit künftig lokal statt in der Cloud laufen kann.

Quavon TeamLesen
AI & Entwicklung8 Min. Lesezeit

GitHub HydraFusion: Wird Model Routing wichtiger als das beste KI-Modell?

GitHub HydraFusion lässt mehrere KI-Modelle innerhalb eines Coding-Workflows zusammenarbeiten und entscheidet dynamisch zwischen direkter Ausführung, Eskalation und Review. Wir schauen darauf, ob Model Routing für echte Softwareprojekte wichtiger werden könnte als die Wahl eines einzelnen Spitzenmodells.

Quavon TeamLesen
AI & Entwicklung8 Min. Lesezeit

KI-Agenten auf einem deutschen Wiki: Was der DseWiki-Vorfall über autonome Systeme zeigt

Update vom 6. September: OpenAI hat den DseWiki-„Wiki Incident“ inzwischen öffentlich anerkannt und fordert bessere Standards für die Meldung von Misalignment-Vorfällen. Der Fall zeigt, warum Berechtigungen, Sandboxing, Logging und Monitoring bei agentischer KI genauso wichtig sind wie die Modellleistung.

Quavon TeamLesen
AI & Entwicklung9 Min. Lesezeit

GPT-6 Astra: Funktionen, Benchmarks, Preise und Sicherheitsfragen

Update vom 5. September: GPT-6 Astra wird inzwischen auch in Codex für Plus- und Business-Pläne freigeschaltet. Der Artikel ordnet außerdem Computer Use, Kosten, Long Context, Cybersecurity und den praktischen Einsatz bei Quavon ein.

Quavon TeamLesen

Starten wir durch

Arbeiten Sie gerade an so etwas?

Wenn eines dieser Probleme bei Ihnen auf dem Tisch liegt: Das Erstgespräch ist kostenlos, und wir sagen ehrlich, ob wir das richtige Team dafür sind.

Kostenloses Erstgespräch
Oder E-Mail senden

Antwort in der Regel innerhalb von 24 Stunden