Eine Forschungsgruppe von Nvidia und MIT hat elf multimodale Sprachmodelle mit und ohne externe Werkzeuge verglichen. Über drei Safety-Benchmarks stieg die durchschnittliche Refusal Failure Rate, also der Anteil nicht ausreichend verweigerter problematischer Anfragen, mit Tool-Nutzung um 5,7 Prozentpunkte. Relativ entspricht das einem Anstieg um 17,7 Prozent.
Das Paper „MLLMs Fail to Refuse when Using Tools Agentically“ erschien am 2. Oktober 2026 auf arXiv und ist laut Eintrag für NeurIPS 2026 angenommen. Am 7. Oktober wurde es von Unite.AI ausführlicher aufgearbeitet. Einschließlich ergänzender Experimente werteten die Autoren mehr als 100.000 Modellantworten aus. Es handelt sich um kontrollierte Evaluationen, nicht um Produktionsvorfälle.
Elf Modelle zeigten denselben Trend
Getestet wurden proprietäre und offene Modellfamilien, darunter Claude Opus 4.6 und 4.7, GPT-5.4, Gemini sowie Qwen-, Kimi- und GLM-Modelle. Die Aufgaben kombinierten Bilder mit Anfragen, bei denen eine sichere Antwort bestimmte Hilfestellungen verweigern sollte.
Im Agentenmodus konnten die Modelle unter anderem Bildausschnitte vergrößern, Text aus Bildern auslesen oder Bildinformationen mit weiteren Werkzeugen analysieren. Die Forscher verglichen diese Antworten mit denen derselben Modelle ohne Werkzeugzugriff.
Alle elf Modelle zeigten im untersuchten Aufbau auf allen drei Benchmarks eine höhere Fehlerquote. Für GPT-5.4 stieg der Mittelwert von 14,6 auf 16,8 Prozent, für Claude Opus 4.6 von 13,6 auf 18,1 Prozent. Bei GLM-5V-Turbo stieg er von 38,7 auf 51,3 Prozent. Die oft zitierte Zahl von bis zu 68,7 Prozent bezeichnet einen relativen Anstieg in einem Teil der Messungen, keine absolute Erfolgsquote.
Die Antworten wurden überwiegend durch GPT-5.2 als automatisches Bewertungsmodell klassifiziert. Die Autoren berichten für eine menschliche Vergleichsprüfung 97 Prozent Übereinstimmung. Das ist eine methodische Angabe der Autoren, keine unabhängige Reproduktion.
Tool-Ergebnisse können den ursprünglichen Auftrag überlagern
Die Forscher untersuchten zwei mögliche Erklärungen. Bei der ersten verliert die ursprüngliche Anfrage im wachsenden Kontext aus Zwischenergebnissen an Aufmerksamkeit. Bei der zweiten konzentriert sich das Modell zunehmend auf Beobachtungen aus Tools und prüft die Sicherheitsanforderung nicht erneut.
Die Daten stützen diese Hypothesen, beweisen aber keinen universellen Mechanismus. In ergänzenden Versuchen nahm die Fehlerquote mit längeren Tool-Verläufen zu. Wurde die ursprüngliche Anfrage vor der Antwort erneut in den Kontext gebracht, ging ein Teil der Verschlechterung zurück.
Der Befund unterscheidet sich von klassischer Prompt Injection. Im untersuchten Aufbau musste kein fremder Tool-Output eine versteckte Anweisung enthalten. Bereits reguläre zusätzliche Beobachtungen veränderten das Antwortverhalten.
Safety-Evals brauchen vollständige Agentenläufe
Wer ein multimodales Modell mit OCR, Bildwerkzeugen oder Codeausführung einsetzt, kann Safety-Werte des nackten Modells nicht unverändert auf den Agenten übertragen. Tests sollten direkte Antworten und vollständige Abläufe mit mehreren Tool-Aufrufen getrennt bewerten. Dabei gehören die Anzahl und Reihenfolge der Aufrufe zur Auswertung.
Die Studie misst vor allem Bild-Text-Anfragen und Verweigerungsverhalten. Sie zeigt nicht, ob ein Agent reale Systeme kompromittieren kann oder ob ein Berechtigungsmodell hält. Dafür sind gesonderte Ausführungs- und Security-Evals nötig.
Quellen: Takehi et al., „MLLMs Fail to Refuse when Using Tools Agentically“, arXiv:2610.03938, 2.10.2026; Unite.AI, „NVIDIA Research Finds AI Agents Become Less Safe When Using Tools“, 7.10.2026.