Quavon Development
Model Supply Chain Security2 Min. Lesezeit

BadEngram versteckt Modell-Backdoors in ausgelagerten Memory-Komponenten

Fujitsu und Pillar Security demonstrieren Backdoors in den Memory-Komponenten aktueller Open-Weight-Modelle. Der übrige Modellkern bleibt unverändert, während bestimmte Eingaben das Verhalten verändern.

Redaktion von Quavon DevelopmentVeröffentlicht Aktualisiert
Die kurze Antwort

Fujitsu und Pillar Security beschrieben am 13. Oktober 2026 BadEngram, einen Angriff auf die zusätzlichen Memory-Tabellen und Gating-Parameter von Sprachmodellen. In kontrollierten Tests ließen sich triggerabhängige Verhaltensänderungen erzeugen, ohne den übrigen Modellkern zu verändern. Bei Qwen3.8-Flash-Next meldeten die Forscher 50,4 bis 60,0 Prozent Angriffserfolg mit Trigger gegenüber 0,0 bis 0,9 Prozent ohne Trigger. Eine Ausnutzung in realen Modelllieferketten ist nicht belegt.

Fujitsu Research und Pillar Security haben am 13. Oktober eine Backdoor-Klasse für Sprachmodelle mit zusätzlichen Memory-Komponenten beschrieben. Bei BadEngram wird nicht der gesamte Modellkern manipuliert. Die Forscher verändern Teile des gelernten Memory-Subsystems, das bei bestimmten Eingaben Informationen zur Modellberechnung beisteuert.

Der Angriff wurde in kontrollierten Versuchen an einer erweiterten DeepSeek-7B-Konfiguration und an nativen Memory-Komponenten größerer Open-Weight-Modelle getestet. Er setzt voraus, dass ein Angreifer entsprechende Modellartefakte vor der Ausführung verändern kann. Ein Angriff allein durch das Senden eines Prompts an ein unverändertes Modell ist damit nicht gezeigt.

Der Memory-Lookup liegt innerhalb der Vertrauensgrenze

Engram und verwandte Architekturen verwenden gelernte Tabellen, die anhand von Eingabemustern zusätzliche Repräsentationen bereitstellen. Solche Tabellen können außerhalb des GPU-Speichers liegen und werden bei Bedarf geladen. Ein Gating-Mechanismus bestimmt, wie stark diese Repräsentationen die weitere Berechnung beeinflussen.

BadEngram nutzt genau diesen Pfad. Die Forscher manipulierten Memory-Einträge und zugehörige Gating-Parameter so, dass bestimmte Auslöser eine abweichende Antwort begünstigen. Bei normalen Eingaben blieb das Verhalten in den Tests weitgehend beim Ausgangsmodell. Eine Prüfung, die ausschließlich die üblichen Backbone-Gewichte oder Standardaufgaben vergleicht, könnte die Änderung daher übersehen.

Bei Qwen stieg die Erfolgsrate nur mit dem Trigger

Für Qwen3.8-Flash-Next berichten die Autoren bei zwei Sicherheitstests Angriffserfolgsraten von 50,4 beziehungsweise 60,0 Prozent mit dem vorgesehenen Trigger. Ohne Trigger lagen die Werte bei 0,9 beziehungsweise 0,0 Prozent. Bei einer weiteren Übertragung zwischen Trainings- und Testaufgaben meldeten sie 45,0 Prozent mit Trigger gegenüber 2,5 Prozent ohne ihn.

Auch bei DeepSeek-V4.1-Flash beobachteten die Forscher triggerabhängiges Verhalten. In der kleineren Kontrollkonfiguration senkte das Abschalten des betroffenen Gates während der Aktivierung die gemessene Erfolgsrate von 96,6 auf 0,32 Prozent. Dieser Eingriff stützt die Zuordnung des Effekts zum Memory-Pfad.

Die Zahlen stammen aus den Experimenten der beiden Forschungspartner. Eine unabhängige Reproduktion der Erfolgsraten liegt nicht vor. Die Ergebnisse zeigen auch nicht, dass unveränderte offizielle Qwen- oder DeepSeek-Releases kompromittiert sind.

Für Betreiber lokaler Modelle ergibt sich eine konkrete Integritätsanforderung: Ein Prüfsummen- oder Signaturvergleich darf sich nicht auf ausgewählte Hauptgewichte beschränken. Er muss alle geladenen gelernten Komponenten einschließen, darunter Memory-Tabellen, Projektionen und Gates. Das gilt ebenso nach Konvertierung, Quantisierung oder erneuter Paketierung eines Checkpoints.

BadEngram betrifft damit eine bislang weniger beachtete Stelle der Modelllieferkette: Ein scheinbar unveränderter Backbone ist kein Beleg für ein unverändertes Modellverhalten, wenn weitere gelernte Komponenten zur Inferenz beitragen.

Quellen: Fujitsu Research, 13. Oktober 2026: https://global.fujitsu/en-global/technology/research/article/topics/202610-badengram-llm-backdoor-attack ; technischer Forschungsbericht: https://blog-en.fltech.dev/entry/2026/10/13/badengram ; Pillar Security: https://www.pillar.security/blog/badengram-a-new-attack-surface-in-open-weight-ai-models

Starten wir durch

Sollen wir uns das ansehen?

Erzählen Sie uns, was entstehen soll. Sie bekommen eine ehrliche Einschätzung zu Umfang, Zeitrahmen und Risiken — und eine klare Antwort, ob wir das richtige Team dafür sind.

Kostenloses Erstgespräch
Oder E-Mail senden

Antwort in der Regel innerhalb von 24 Stunden