Mark Russinovich, Shefi i Teknologjisë i Microsoft Azure, ka theksuar shqetësimet në rritje të sigurisë që lidhen me AI gjeneruese. Duke folur në konferencën e Microsoft Build 2024 në Seattle, Russinovich nënvizoi të ndryshmet një sërë kërcënimesh që Shefat e Sigurisë së Informacionit (CISOs) dhe zhvilluesit duhet të navigojnë ndërsa integrojnë teknologjitë gjeneruese të AI. Ai theksoi domosdoshmërinë për një qasje shumëdisiplinore ndaj sigurisë së AI, e cila përfshin shqyrtimin e kërcënimeve nga këndvështrime të ndryshme si aplikacionet e AI, kodi themelor i modelit, kërkesat e API, të dhënat e trajnimit dhe dyert e pasme të mundshme.
Helmimi i të dhënave. dhe Keqklasifikimi i Modelit
Një nga shqetësimet kryesore të trajtuara nga Russinovich është helmimi i të dhënave. Në këto sulme, kundërshtarët manipulojnë grupet e të dhënave të përdorura për të trajnuar AI ose modelet e mësimit të makinerive, duke çuar në rezultate të korruptuara. Ai e ilustroi këtë me një shembull ku zhurma dixhitale e shtuar në një imazh bëri që AI të keqklasifikonte një panda si majmun. Ky lloj sulmi mund të jetë veçanërisht i fshehtë, sepse edhe një ndryshim i vogël, siç është futja e derës së pasme, mund të ndikojë ndjeshëm në performancën e modelit.
Russinovich diskutoi gjithashtu çështjen e prapa dyerve brenda modeleve të AI. Ndërsa shihen shpesh si një dobësi, dyert e pasme mund të shërbejnë gjithashtu për të verifikuar vërtetësinë dhe integritetin e një modeli. Ai shpjegoi se dyert e pasme mund të përdoren për të marrë gjurmët e gishtave të një modeli, duke i mundësuar softuerit të kontrollojë vërtetësinë e tij. Kjo përfshin shtimin e pyetjeve unike në kod që nuk ka gjasa të bëhen nga përdoruesit e vërtetë, duke siguruar kështu integritetin e modelit.
Teknikat e injektimit të menjëhershëm
Një kërcënim tjetër i rëndësishëm që theksoi Russinovich janë teknikat e injektimit të shpejtë. Këto përfshijnë futjen e teksteve të fshehura në dialog, të cilat mund të çojnë në rrjedhje të të dhënave ose të ndikojnë në sjelljen e AI përtej operacioneve të synuara. Ne kemi parë se si GPT-4 V i OpenAI është i prekshëm ndaj këtij lloji të sulmit. Ai tregoi se si një pjesë e tekstit të fshehur, e injektuar në një dialog, mund të rezultojë në rrjedhje të të dhënave private, të ngjashme me shfrytëzimet e skriptimit ndër-faqe në sigurinë e uebit. Kjo kërkon izolimin e përdoruesve, seancave dhe përmbajtjes nga njëri-tjetri për të parandaluar sulme të tilla.
Në ballë të shqetësimeve të Microsoft janë çështjet që lidhen me zbulimin e të dhënave të ndjeshme, teknikat e jailbreakut për të kapërcyer modelet e AI dhe detyrimin e së tretës.-aplikacionet e partive dhe modeli shtojcash për të anashkaluar filtrat e sigurisë ose për të prodhuar përmbajtje të kufizuar. Russinovich përmendi një metodë specifike sulmi, Crescendo, e cila mund të anashkalojë masat e sigurisë së përmbajtjes për të nxitur një model të gjenerojë përmbajtje të dëmshme.
Qasja holistike ndaj sigurisë së AI
Russinovich i krahasoi modelet e AI me”punonjës vërtetë të zgjuar, por të rinj ose naivë”, të cilët, pavarësisht inteligjencës së tyre, janë të cenueshëm ndaj manipulimit dhe mund të veprojnë kundër politikave të një organizate pa mbikëqyrje të rreptë. Ai theksoi rreziqet e qenësishme të sigurisë brenda modeleve të mëdha gjuhësore (LLM) dhe nevoja për parmakë të rreptë për të zbutur këto dobësi.
Russinovich ka zhvilluar një hartë gjeneruese të kërcënimit të AI që përshkruan marrëdhëniet midis këtyre elementëve të ndryshëm kërcënimet Ai dha një shembull se si mbjellja e të dhënave të helmuara në një faqe të Wikipedia-s, e njohur si burim i të dhënave, mund të çojë në probleme afatgjata edhe nëse të dhënat korrigjohen më vonë, sepse nuk është më ekziston në burimin origjinal.
