Pesquisadores do Google DeepMind e da Universidade de Stanford revelaram um sistema inovador projetado para aumentar a precisão das respostas geradas por IA. Apelidado de Search-Augmented Factuality Evaluator (SAFE), este sistema representa um avanço significativo na busca para mitigar o fenômeno de “alucinação” em chatbots de IA. Alucinação neste contexto refere-se a casos em que a IA produz informações convincentes, mas factualmente incorretas. aplicações onde a precisão é fundamental.
Como funciona o SAFE: um processo de quatro etapas
O sistema SAFE opera através de um processo meticuloso de quatro etapas para garantir a veracidade do texto gerado por IA. Inicialmente, ele disseca a resposta dada em fatos individuais. Após essa segmentação, ele revisa esses fatos e realiza uma comparação com os dados recuperados da Pesquisa Google, garantindo que a relevância de cada fato para a consulta original seja avaliada. Essa metodologia é metódica. A abordagem permite que o SAFE avalie com eficácia a factualidade das respostas longas geradas por chatbots de IA.
Para avaliar a eficácia do SAFE, a equipe montou um conjunto de dados chamado LongFact, que consiste em aproximadamente 16.000 fatos. Eles então testaram o SAFE em treze Large Language Models (LLMs) abrangendo quatro famílias distintas: Claude, Gemini, GPT-4 e PaLM-2. Os resultados foram promissores, com o SAFE alinhado com anotadores humanos em 72% dos casos. Além disso, em casos de discrepância entre o SAFE e os anotadores humanos, as avaliações do SAFE foram consideradas precisas em 76% das vezes.
Viabilidade econômica e implicações futuras
Um dos aspectos mais atraentes do sistema SAFE é sua relação custo-benefício. Segundo os pesquisadores, empregar o SAFE para fins de verificação de fatos é 20 vezes mais barato do que depender de anotadores humanos. Esta acessibilidade, juntamente com a sua elevada taxa de precisão, posiciona o SAFE como uma ferramenta potencialmente transformadora para melhorar a fiabilidade dos chatbots de IA em grande escala.
O desenvolvimento do SAFE chega num momento crucial, à medida que a procura por o conteúdo gerado por IA preciso e confiável continua a crescer. Ao enfrentar de frente o desafio da alucinação, o SAFE não só promete melhorar a experiência do utilizador, mas também aumenta a credibilidade da IA como ferramenta de disseminação de informação. À medida que esta tecnologia continua a evoluir, poderá desempenhar um papel fundamental na definição do futuro da comunicação e recuperação de informação orientada pela IA.
