MLCommons ha lanciato AILuminate, un nuovo benchmark incentrato sulla valutazione dei rischi per la sicurezza nei modelli linguistici di grandi dimensioni (LLM), offrendo un quadro strutturato per affrontare le preoccupazioni sui rischi etici e operativi dell’IA.
AILuminate è progettato per misurare il modo in cui i sistemi di intelligenza artificiale gestiscono sfide critiche come l’incitamento all’odio, la disinformazione e l’uso improprio contestuale.
Indirizzando sistematicamente i rischi per la sicurezza, Obiettivi AIluminate stabilire un nuovo standard per valutare la prontezza dei sistemi di intelligenza artificiale nelle applicazioni del mondo reale. Il punto di riferimento arriva mentre il settore deve affrontare un controllo crescente sulle implicazioni etiche dell’implementazione di potenti modelli di intelligenza artificiale.
AILuminate Framework per uno sviluppo IA più sicuro
AILuminate utilizza oltre 24.000 istruzioni di test per 12 rischi categorie per valutare i rischi etici e pratici posti dai LLM. I modelli vengono valutati su una scala da”scarso”a”eccellente”, fornendo agli sviluppatori feedback utili per affrontare le vulnerabilità.
I primi risultati di AILuminate rivelano le diverse capacità dei modelli più diffusi nella gestione dei rischi per la sicurezza. Phi-3.5-MoE Instruct di Microsoft e Claude di Anthropic hanno ottenuto un punteggio”molto buono”, mentre GPT-4o di OpenAI e Llama 3.1 di Meta hanno appena ricevuto il punteggio”buono”.
Correlato: Come Premendo”Stop”in ChatGPT è possibile neutralizzarne le misure di sicurezza
Nel frattempo, modelli incentrati sulla ricerca come OLMo dell’Allen Institute hanno ottenuto risultati”scarso”, sottolineando le sfide legate all’adattamento dei sistemi sperimentali per l’uso pratico.
La valutazione”discreta”di due modelli Mistral mostra le sfide che deve ancora affrontare l’ambiziosa startup francese di intelligenza artificiale, che ha recentemente introdotto capacità multimodali e un’ampia gamma di funzionalità competitive per il suo chatbot Le Chat in un recente aggiornamento.
Il benchmark attualmente supporta l’inglese ma è destinato ad espandersi in altre lingue, tra cui francese, cinese e hindi, entro il 2025. Questo focus multilingue mira per affrontare i problemi di sicurezza in diverse lingue e contesti culturali.
Correlato: Meta soffre della crisi di disinformazione basata sull’intelligenza artificiale di Facebook nel mezzo degli sforzi di soccorso per l’uragano
Affrontare i rischi etici con informazioni fruibili
L’attenzione di AIluminate su pericoli quali incitamento all’odio, disinformazione e uso improprio contestuale riflette la complessità delle interazioni dell’IA. A differenza dei modelli precedenti, che gestivano principalmente compiti semplici, gli odierni LLM si impegnano in ragionamenti complessi e generano risultati sfumati.
Ciò aumenta il rischio di conseguenze indesiderate, da sottili pregiudizi nella generazione del linguaggio a comportamenti apertamente dannosi.
Correlato: La disinformazione elettorale statunitense richiede modifiche al chatbot x.AI Grok
Una categoria particolarmente impegnativa affrontata da AILuminate è”contestuale pericoli.”Si tratta di scenari in cui le risposte dell’intelligenza artificiale potrebbero essere inappropriate in base al contesto della query. Ad esempio, mentre un chatbot legale potrebbe fornire in modo appropriato riferimenti alla giurisprudenza, la stessa risposta da parte di un assistente generico potrebbe portare a un uso improprio o un’interpretazione errata.
I rischi contestuali sono particolarmente impegnativi, poiché i sistemi di intelligenza artificiale spesso non dispongono della comprensione sfumata necessaria per gestire applicazioni sensibili come la consulenza medica o legale.
Completamento dei benchmark delle prestazioni con la sicurezza Metriche
AILuminate fornisce un contrappeso ai benchmark esistenti incentrati sulle prestazioni, affrontando i rischi etici e operativi legati all’implementazione di sistemi di intelligenza artificiale.
A differenza dei benchmark sulle prestazioni, che danno priorità alla velocità e all’efficienza , AILuminate evidenzia l’impatto sociale delle tecnologie IA e identifica le aree di miglioramento.
Fornendo agli sviluppatori metriche chiare e approfondimenti utilizzabili, AILuminate colma una lacuna critica nella pipeline di sviluppo dell’IA, garantendo che i progressi nelle prestazioni non superano le considerazioni di sicurezza ed etica.
Natasha Crampton, Chief Responsible AI Officer di Microsoft, ha sottolineato l’importanza della collaborazione nella costruzione di un ecosistema di IA più sicuro.
“Gli sviluppatori di tecnologie di intelligenza artificiale e le organizzazioni che utilizzano l’intelligenza artificiale hanno un interesse comune per valutazioni di sicurezza trasparenti e pratiche. L’intelligenza artificiale sarà adottata e utilizzata per affrontare le maggiori sfide della società solo se le persone avranno fiducia nella sua sicurezza. Il benchmark AILuminate rappresenta un progresso importante nello sviluppo di tecniche di valutazione efficaci e basate sulla ricerca per i test di sicurezza dell’IA,”ha affermato.
Correlato: Anthropic sollecita una regolamentazione globale immediata dell’IA: 18 mesi o È troppo tardi
Un passaggio verso la responsabilità nello sviluppo dell’intelligenza artificiale
L’introduzione di AILuminate è in linea con le tendenze più ampie del settore che enfatizzano l’intelligenza artificiale responsabile. Recenti iniziative normative, come l’Ordine esecutivo del 2023 del Presidente Biden sulla sicurezza dell’intelligenza artificiale, che è stato recentemente ampliato con un nuovo memorandum sulla sicurezza nazionale, evidenziano la necessità di misure solide per garantire l’implementazione sicura di modelli avanzati.
Gli operatori del settore hanno risposto sostenendo quadri che affrontino sia i rischi etici che quelli tecnici, cercando di influenzare il panorama normativo in modo proattivo. Benchmark come AILuminate assumono un ruolo chiave in questi sforzi poiché non solo informano lo sviluppo interno, ma servono anche come strumenti per la responsabilità esterna.
I risultati pubblicati di recente del benchmark SimpleQA di OpenAI, che hanno rivelato problemi persistenti con allucinazioni in GPT-4o, sottolineano l’importanza di iniziative come AILuminate. Le allucinazioni, quando l’intelligenza artificiale genera affermazioni false o non supportate, sono particolarmente problematiche in campi che richiedono elevati livelli di precisione, come la sanità e la finanza. Il rapporto di OpenAI ha evidenziato che anche i modelli di alto livello hanno faticato con la coerenza fattuale, raggiungendo tassi di precisione inferiori al 43%.
Si spera che framework come AILuminate contribuiscano a ridurre problemi così diffusi nell’output LLM identificando scenari in cui le allucinazioni sono più probabili verificarsi.
