Mark Pesce, esperto di tecnologia ed editorialista IT, Mark Pesce ha identificato un grave difetto che colpisce un’ampia gamma di grandi modelli linguistici (LLM), compresi quelli utilizzati nei popolari chatbot AI come ChatGPT, Microsoft Copilot e Google Gemini. Il difetto, attivato da un’istruzione apparentemente semplice, fa sì che i modelli producano output incoerenti e infiniti, sollevando preoccupazioni sulla stabilità e l’affidabilità di questi sistemi di intelligenza artificiale.
Output continuo e senza senso
Come scrive Pesce nel suo articolo per The Register, il problema è stato scoperto quando ha tentato di creare un prompt per un Classificatore basato sull’intelligenza artificiale. Il classificatore aveva lo scopo di assistere un avvocato specializzato in proprietà intellettuale automatizzando le attività che richiedevano giudizi soggettivi. Durante il test su Microsoft Copilot Pro, che utilizza il modello GPT-4 di OpenAI, la richiesta ha causato la generazione di output continui e senza senso da parte del chatbot. Un comportamento simile è stato osservato in altri modelli di intelligenza artificiale, tra cui Mixtral e molti altri, ad eccezione di Claude 3 Sonnet di Anthropic. Pesce scrive:
“Mi sono messo al lavoro per scrivere un prompt per quel classificatore, iniziando con qualcosa di molto semplice, non molto diverso da un prompt che inserirei in qualsiasi chatbot. Per testarlo prima di iniziare a consumare costose chiamate API, l’ho inserito in Microsoft Copilot Pro. Sotto il marchio Microsoft, Copilot Pro si trova sopra il modello migliore della categoria OpenAI, GPT-4. Digita il messaggio e premi Invio.
Il chatbot ha iniziato bene, per le prime parole della sua risposta. Poi si è trasformato in una follia simile a un balbettio.”
Risposta e sfide del settore
Pesce ha segnalato il problema a vari fornitori di servizi di intelligenza artificiale, tra cui Microsoft e xAI di Elon Musk, che sono dietro i prodotti Grok AI di xAI, che ne hanno confermato la replica il difetto su più modelli, indicando un problema fondamentale piuttosto che un bug isolato. Tuttavia, la risposta di altre società è stata meno incoraggiante in modo adeguato o del tutto. Alcune aziende non disponevano di informazioni di contatto dirette per segnalare tali problemi critici, evidenziando una lacuna significativa nei processi di assistenza clienti e sicurezza.
Implicazioni per lo sviluppo dell’intelligenza artificiale
La scoperta sottolinea i potenziali rischi associati alla rapida implementazione delle tecnologie di intelligenza artificiale senza solidi meccanismi di supporto e feedback. La mancanza di un canale chiaro per segnalare e risolvere i bug in questi sistemi rappresenta una minaccia per la loro affidabilità e sicurezza. Gli esperti del settore sottolineano la necessità che le aziende di intelligenza artificiale stabiliscano processi efficienti per gestire il feedback dei clienti e risolvere tempestivamente i problemi. Finché queste misure non verranno adottate, la sicurezza e l’affidabilità delle applicazioni basate sull’intelligenza artificiale rimarranno in discussione.
L’esperienza di Pesce evidenzia una questione più ampia nel settore dell’intelligenza artificiale: la necessità di test più rigorosi e di una migliore comunicazione tra gli sviluppatori e utenti. Poiché l’intelligenza artificiale continua a integrarsi in vari aspetti della vita quotidiana e del business, garantire che questi sistemi siano efficaci e sicuri è fondamentale.
