Google weigert sich, eine kritische Schwachstelle durch „ASCII-Schmuggel“ in seiner Gemini-KI zu beheben, wodurch Benutzer versteckten Angriffen ausgesetzt werden. Sicherheitsforscher von FireTail haben herausgefunden, dass Angreifer unsichtbare Unicode-Zeichen verwenden können, um bösartige Befehle in Text einzubetten.
Während Benutzer harmlose Nachrichten sehen, führt Gemini die versteckten Anweisungen aus. Dieser Fehler ist besonders gefährlich in Google Workspace, wo er automatisches Identitätsspoofing in Kalendereinladungen und E-Mails ermöglicht.
Obwohl Konkurrenten wie OpenAI und Microsoft ähnliche Probleme behoben haben, wies Google den Bericht zurück. Das Unternehmen stufte es als Social Engineering und nicht als Sicherheitslücke ein. Diese Entscheidung zwingt Unternehmen dazu, sich gegen eine bekannte, uneingeschränkte Bedrohung zu verteidigen.
Geister in der Maschine: Wie ASCII-Schmuggel funktioniert
Die Der Angriff, eine als ASCII-Schmuggel bekannte Technik, beruht auf dem cleveren Missbrauch des Unicode-Standards. Es nutzt eine grundlegende Diskrepanz zwischen dem, was ein Benutzer auf seinem Bildschirm sieht, und den Rohdaten, die ein KI-Modell verarbeitet.
Die Methode nutzt einen speziellen Satz unsichtbarer Zeichen aus dem Tags-Unicode-Block, um versteckte Anweisungen in eine scheinbar harmlose Textzeichenfolge einzubetten und so einen wirksamen Vektor für sofortige Injektion und Datenvergiftung zu schaffen.
Diese Sonderzeichen werden in Benutzeroberflächen normalerweise nicht gerendert. Gemäß dem Technischen Standard von Unicode zeigt eine vollständig Tag-unbewusste Implementierung jede Folge von Tag-Zeichen als unsichtbar an. Dies schafft die perfekte Tarnung für einen Angreifer.
Während ein menschlicher Benutzer nur den harmlosen, sichtbaren Text sieht, enthält der zugrunde liegende Rohdatenstrom eine bösartige Nutzlast, die in diesen nicht druckbaren Zeichen versteckt ist.
Large Language Models (LLMs) haben jedoch keine Probleme, diese versteckten Befehle zu interpretieren. Im Gegensatz zur Benutzeroberfläche ist der Eingabevorprozessor eines LLM darauf ausgelegt, Rohzeichenfolgen, einschließlich aller Zeichen, aufzunehmen, um internationale Standards zu unterstützen.
Da diese Unicode-Tags in ihren umfangreichen Trainingsdaten vorhanden sind, können Modelle wie Gemini sie wie jeden anderen Text lesen und darauf reagieren. Diese Technik ermöglicht es einem Angreifer, beliebigen ASCII-Text an ein Emoji oder andere Zeichen anzuhängen und so effektiv eine geheime Eingabeaufforderung an jedem menschlichen Prüfer vorbeizuschmuggeln.
Das Ergebnis ist ein kritischer Fehler in der Anwendungslogik. Das LLM nimmt die rohen, nicht vertrauenswürdigen Eingaben auf und führt die versteckten Befehle aus, während der menschliche Benutzer, der nur die bereinigte Version in der Benutzeroberfläche sieht, sich der Manipulation überhaupt nicht bewusst ist.
Diese Lücke zwischen menschlicher Wahrnehmung und maschineller Verarbeitung ist der Kern der Schwachstelle und macht aus einer Benutzeroberflächen-Eigenart ein ernstes Sicherheitsrisiko, wie Forscher wiederholt gezeigt haben.
Von Calendar Spoofing bis Datenvergiftung
Die Auswirkungen auf Agenten-KI-Systeme sind schwerwiegend. Der FireTail-Forscher Viktor Markopoulos demonstrierte, wie ein Angreifer eine Google Kalender-Einladung mit einer versteckten Nutzlast versenden konnte. Diese Nutzlast könnte die Angaben des Veranstalters überschreiben, eine Identität fälschen oder einen bösartigen Link einfügen.
Google Gemini fungiert als persönlicher Assistent und verarbeitet Diese verfälschten Daten ohne jegliche Benutzerinteraktion, die über den Erhalt der Einladung hinausgeht. Der Angriff umgeht die typische „Akzeptieren/Ablehnen“-Sicherheitsschleuse und macht die KI zu einem unwissenden Komplizen.
Die Bedrohung erstreckt sich auf jedes System, in dem ein LLM vom Benutzer bereitgestellten Text zusammenfasst oder aggregiert. Beispielsweise könnte eine Produktrezension einen versteckten Befehl enthalten, der die KI anweist, einen Link zu einer Betrugswebsite in ihre Zusammenfassung aufzunehmen, wodurch der Inhalt effektiv für alle Benutzer vergiftet wird.
Das Risiko erhöht sich für Benutzer, die LLMs mit ihren E-Mail-Postfächern verbinden. Wie Markopoulos erklärte: „Für Benutzer mit LLMs, die mit ihren Posteingängen verbunden sind, kann eine einfache E-Mail mit versteckten Befehlen den LLM anweisen, den Posteingang nach sensiblen Elementen zu durchsuchen oder Kontaktdaten zu senden, wodurch ein Standard-Phishing-Versuch in ein autonomes Datenextraktionstool verwandelt wird.“
Dies verwandelt einen Standard-Phishing-Versuch in eine weitaus gefährlichere, automatisierte Datenschutzverletzung.
Ein ungepatchter Fehler: Googles Haltung gegenüber der Branche
Die Untersuchung von FireTail hat eine klare Kluft in der Vorbereitung der Branche aufgedeckt. Während sich Google Gemini, Grok von xAI und DeepSeek alle als anfällig erwiesen, war dies bei anderen großen Playern nicht der Fall. Modelle von OpenAI, Microsoft und Anthropic haben offenbar eine Eingabebereinigung implementiert, die die Bedrohung abschwächt.
Nachdem Markopoulos die Ergebnisse am 18. September an Google gemeldet hatte, wies das Unternehmen das Problem ab. Es wurde argumentiert, der Angriff beruhe auf Social Engineering, eine Haltung, die Kritik hervorgerufen hat, weil sie den technischen Exploit im Kern herunterspielt.
Diese Position steht in scharfem Kontrast zu der anderer Technologiegiganten. Amazon hat beispielsweise detaillierte Sicherheitsleitfäden zur Abwehr des Unicode-Zeichenschmuggels veröffentlicht und diesen als legitimen Bedrohungsvektor anerkannt.
Die Weigerung von Google, einzugreifen, bringt seine Unternehmenskunden in eine prekäre Lage. Da es keinen Patch gibt, sind Organisationen, die Gemini in Google Workspace verwenden, wissentlich einer raffinierten Methode der Datenvergiftung und des Identitätsspoofings ausgesetzt.
