Google po refuzon të rregullojë një ndjeshmëri kritike”kontrabandë ASCII”në AI të tij Binjakët, duke i lënë përdoruesit të ekspozuar ndaj sulmeve të fshehura. Studiuesit e sigurisë në Fireetail Sulmuesit mund të përdorin karaktere të padukshme të Unicode për të ngulitur komanda me qëllim të keq në tekst.
Ndërsa përdoruesit shohin mesazhe të padëmshme, Binjakët ekzekuton udhëzimet e fshehura. Kjo e metë është veçanërisht e rrezikshme në hapësirën e punës në Google, ku mundëson spoofing të automatizuar të identitetit në ftesa dhe postë elektronike të kalendarit. Kompania e klasifikoi atë si inxhinieri sociale, jo një problem të sigurisë. Ky vendim i detyron ndërmarrjet të mbrohen kundër një kërcënimi të njohur, të papritur. Sulmi, një teknikë e njohur si kontrabandë ASCII, është e rrënjosur në të zgjuar abuzimin e standardit unicode . Shfrytëzon një pabarazi themelore midis asaj që një përdorues sheh në ekranin e tyre dhe të dhënave të papërpunuara një model AI përpunon. Sipas standard teknik unicode , një zbatim plotësisht i etiketave do të shfaq çdo sekuencë të karaktereve të etiketave si të padukshme. Kjo krijon kamuflazhin e përsosur për një sulmues. Për dallim nga ndërfaqja e përdoruesit, para-procesori i hyrjes së një LLM është krijuar për të gllabëruar vargje të papërpunuara, përfshirë çdo personazh, për të mbështetur standardet ndërkombëtare. Kjo teknikë i lejon një sulmuesi të bashkojë tekstin arbitrar ASCII në një emoji ose personazhe të tjerë, duke kontrabanduar në mënyrë efektive një të shpejtë sekret të shpejtë çdo recensues njerëzor. LLM gllabëron inputin e papërpunuar, të pabesueshëm dhe ekzekuton komandat e fshehura, ndërsa përdoruesi i njeriut, duke parë vetëm versionin e sanitizuar në UI, mbetet plotësisht i pavetëdijshëm për manipulimin. Spoofing në helmimin e të dhënave
Implikimet për sistemet AI AIK janë të rënda. Studiuesi i FireTail, Viktor Markopoulos demonstroi se si një sulmues mund të dërgonte një ftesë të kalendarit Google me një ngarkesë të fshehur. Kjo ngarkesë mund të mbivendoset detajet e organizatorit, duke prishur një identitet, ose të futni një lidhje të keqe .
Google Gemin, Acting Asive, Acting Asive, Actroofing, ose të futni një lidhje të keqe. përpunon këto të dhëna të helmuara pa ndonjë ndërveprim të përdoruesit përtej marrjes së ftesës. Sulmi anashkalon portën tipike të sigurisë”prano/rënie”, duke e kthyer AI në një bashkëpunëtor të padëshiruar.
Kërcënimi shtrihet në çdo sistem ku një LLM përmbledh ose grumbullon tekstin e furnizuar nga përdoruesit. Për shembull, një përmbledhje e produktit mund të përmbajë një komandë të fshehur që udhëzon AI të përfshijë një lidhje në një uebfaqe të mashtrimit në përmbledhjen e saj, duke helmuar në mënyrë efektive përmbajtjen për të gjithë përdoruesit. Siç shpjegoi Markopoulos,”Për përdoruesit me LLM të lidhur me kutitë e tyre, një email i thjeshtë me komanda të fshehura mund të udhëzojë LLM të kërkojë kutinë e kutisë për artikuj të ndjeshëm ose të dërgojë detaje kontakti, duke e kthyer një përpjekje standarde të phishing në një mjet autonome të nxjerrjes së të dhënave.”STANCE kundrejt industrisë
Hetimi i Fireterail ka zbuluar një ndarje të qartë në gatishmërinë e industrisë. Ndërsa Google Gemini, Grok i Xai dhe Deepseek u zbuluan të gjithë të prekshëm, lojtarët e tjerë të mëdhenj nuk ishin. Modelet nga Openai, Microsoft dhe Antropic duket se kanë zbatuar sanitizimin e hyrjes që zbut kërcënimin.
Pasi Markopoulos raportoi gjetjet në Google më 18 shtator, kompania hodhi poshtë çështjen. Ai argumentoi se sulmi mbështetet në inxhinierinë sociale, një qëndrim që ka tërhequr kritika për minimizimin e shfrytëzimit teknik në thelbin e tij.
Ky pozicion kundërshton ashpër me atë të gjigandëve të tjerë të teknologjisë. Amazon, për shembull, ka botuar udhëzime të hollësishme të sigurisë për mbrojtjen kundër kontrabandës së karakterit të Unicode, duke e pranuar atë si një vektor të ligjshëm të kërcënimit. Pa asnjë pjesë të ardhshme, organizatat që përdorin Binjakët brenda Google Workpace tani janë të ekspozuar me vetëdije ndaj një metode të sofistikuar të helmimit nga të dhënat dhe prishjen e identitetit.