MLCommons a lansat AILuminate, un nou etalon de referință axat pe evaluarea riscurilor de siguranță în modelele lingvistice mari (LLM), oferind un cadru structurat pentru a răspunde preocupărilor legate de riscurile AI etice și operaționale.
AILuminate este conceput pentru a măsura modul în care sistemele AI gestionează provocările critice precum discursul instigator la ură, dezinformarea și contextul utilizare greșită.
Prin țintirea sistematică a riscurilor de siguranță, AILuminate își propune să stabilească un nou standard pentru evaluarea gradului de pregătire a sistemelor AI în aplicațiile din lumea reală. Valoarea de referință vine pe măsură ce industria se confruntă cu un control din ce în ce mai mare asupra implicațiilor etice ale implementării unor modele AI puternice.
Cadru AILuminate pentru o dezvoltare mai sigură a AI
AILuminate utilizează peste 24.000 de solicitări de testare în 12 categorii de risc pentru a evalua riscurile etice și practice prezentate de LLM. Modelele sunt evaluate pe o scară de la „slab” la „excelent”, oferind dezvoltatorilor feedback practic pentru abordarea vulnerabilităților.
Rezultatele timpurii de la AILuminate dezvăluie capabilitățile variate ale modelelor populare în gestionarea riscurilor de siguranță. Phi-3.5-MoE Instruct de la Microsoft și Claude de la Anthropic au obținut un punctaj „foarte bine”, în timp ce GPT-4o de la OpenAI și Llama 3.1 de la Meta tocmai au primit calificarea „bine”.
Legate: Cum Apăsarea „Stop” în ChatGPT poate neutraliza garanțiile sale
Între timp, modelele axate pe cercetare, cum ar fi cel al Institutului Allen OLMo a obținut un punctaj „slab”, subliniind provocările de adaptare a sistemelor experimentale pentru utilizare practică.
Evaluarea „corectă” a două modele Mistral arată provocările cu care se confruntă încă ambițiosul startup francez de IA, care a introdus recent capabilități multimodale și o gamă largă de funcții competitive pentru chatbot-ul său Le Chat într-o actualizare recentă.
În prezent, benchmark-ul acceptă limba engleză, dar este programat să se extindă în alte limbi, inclusiv franceză, chineză, și hindi, până în 2025. Această atenție multilingvă își propune să abordeze preocupările legate de siguranță în diverse contexte lingvistice și culturale.
Legate: Meta suferă o criză de dezinformare a inteligenței artificiale Facebook în contextul eforturilor de ajutorare a uraganului
Abordarea riscurilor etice cu perspective acționabile
Acentrul AILluminate asupra pericolelor precum ura vorbirea, dezinformarea și utilizarea greșită contextuală reflectă complexitatea interacțiunilor AI. Spre deosebire de modelele anterioare, care gestionau în principal sarcini simple, LLM-urile de astăzi se angajează în raționamente complicate și generează rezultate nuanțate.
Acest lucru crește riscul unor consecințe nedorite, de la prejudecăți subtile în generarea limbajului până la comportamente dăunătoare în mod evident.
Legate: Informarea greșită a alegerilor din SUA provoacă apel pentru x.AI Grok Chatbot Modificări
O categorie deosebit de provocatoare abordată de AILuminate este „pericolele contextuale”. Acestea sunt scenarii în care răspunsurile AI pot fi inadecvate în funcție de contextul interogării. De exemplu, în timp ce un chatbot legal ar putea oferi în mod corespunzător jurisprudența referințe, același răspuns din partea unui asistent de uz general ar putea duce la o utilizare greșită sau la interpretare greșită.
Riscurile contextuale sunt deosebit de provocatoare, deoarece sistemele AI nu au adesea nuanțate înțelegerea necesară pentru a naviga în aplicații sensibile, cum ar fi consilierea medicală sau juridică.
Complementarea benchmark-urilor de performanță cu indicatori de siguranță
AILuminate oferă o contrabalansare față de benchmark-urile existente axate pe performanță. abordând riscurile etice și operaționale ale implementării sistemelor AI.
Spre deosebire de benchmark-urile de performanță, care acordă prioritate vitezei și eficienței, AILuminate evidențiază impactul societal al tehnologiilor AI și identifică zonele de îmbunătățire.
Oferind dezvoltatorilor valori clare și perspective acționabile, AILuminate compensează un decalaj critic în conducta de dezvoltare a AI, asigurându-se că progresele în performanță nu depășesc considerentele de siguranță și etică.
Natasha Crampton, Chief Responsible AI Officer la Microsoft, a subliniat importanța colaborării în construirea un ecosistem AI mai sigur.
„Dezvoltatorii de tehnologii AI și organizațiile care folosesc AI au un interes comun în evaluările transparente și practice ale siguranței. Inteligența artificială va fi adoptată și utilizată pentru a aborda cele mai mari provocări ale societății doar dacă oamenii au încredere că este sigură. Criteriul de referință AILuminate reprezintă un progres important în dezvoltarea tehnicilor de evaluare eficiente și bazate pe cercetare pentru testarea siguranței AI”, a spus ea.
Legate: Anthropic Urges Immediate Global AI Regulation: 18 Months or Este prea târziu
O schimbare către responsabilitate în dezvoltarea AI
Introducerea AILuminate se aliniază cu Tendințele mai ample din industrie care pun accentul pe IA responsabilă Mișcările recente de reglementare, cum ar fi Ordinul executiv din 2023 al președintelui Biden privind siguranța AI, care a fost extins recent cu un nou memorandum de securitate națională, evidențiază necesitatea unor măsuri solide pentru a asigura implementarea în siguranță a modelelor avansate.
Jucătorii din industrie au răspuns pledând pentru cadre care abordează atât riscurile etice, cât și cele tehnice, încercând să influențeze peisajul de reglementare în mod proactiv. Benchmark-uri precum AILuminate joacă un rol-cheie în aceste eforturi, deoarece nu doar informează dezvoltarea internă, ci servesc și ca instrumente pentru responsabilitate externă.
Rezultatele publicate recent ale benchmark-ului OpenAI SimpleQA, care au relevat probleme persistente cu halucinațiile în GPT-4o, subliniază importanța inițiativelor precum AILuminate. Halucinațiile – când AI generează afirmații false sau nesusținute – sunt deosebit de problematice în domeniile care necesită niveluri ridicate de acuratețe, cum ar fi asistența medicală și finanțele. Raportul OpenAI a evidențiat că chiar și modelele de top s-au luptat cu coerența faptelor, obținând rate de precizie sub 43%.
Sperăm ca cadre precum AILuminate vor ajuta la reducerea acestor probleme larg răspândite în rezultatele LLM prin identificarea scenariilor în care halucinațiile sunt cel mai probabil. să apară.
