En landmärke internationell studie som släpptes i tisdags avslöjar att ledande AI-assistenter inte är en tillförlitlig källa för nyheter, med betydande fel som hittas i 45 % av deras svar på aktuella händelser.
Undersökningen, som koordinerades av European Broadcasting Union (EBU) och BBC, identifierade systemfel på alla större plattformar.
Den dåliga modellen var Googles största problem med Googles sämsta källa. visar betydande problem i 76 % av sina svar.
Rapporten varnar för att dessa misslyckanden äventyrar allmänhetens förtroende, eftersom nyhetsorganisationer ofta är felaktigt förknippade med en AI:s förvrängda information eller direktförvrängd information. risk.
Ett systemiskt, flerspråkigt problem
I 14 språk och 18 länder ger fynden en dyster bild av den nuvarande generationens nya situation. Med 22 public service-medieorganisationer, inklusive NPR i USA och CBC i Kanada, representerar forskningen den största i sitt slag.
Journalister utvärderade över 3 000 svar från ChatGPT, Copilot, Gemini och Perplexity, och drog slutsatsen att frågorna är djupt rotade i alla.
AI
45 % – innehöll minst ett betydande problem. Dessa problem sträckte sig från faktiska felaktigheter till vilseledande presentationer av information.
EBU:s mediedirektör, Jean Philip De Tender, underströk allvaret av fynden.
“Denna forskning visar definitivt att dessa brister inte är isolerade incidenter. De är systemiska, gränsöverskridande och flerspråkiga, och vi tror att detta äventyrar allmänhetens förtroende.”
En sådan utbredd opålitlighet bekräftar att problemen inte är isolerade, men grundläggande brister i systemet.
Inköpsmisslyckanden och”ceremoniella citat”dyker upp som kärnfrågan
Att borra ner i data visar att inköp är den primära boven. Häpnadsväckande 31 % av alla svar hade betydande problem med hur de tillskrev information, inklusive att tillhandahålla saknade, felaktiga eller helt påhittade citat.
Googles Gemini var en anmärkningsvärd underpresterande, med betydande problem som plågade 76 % av svaren.
Dess inköp var särskilt dålig, med en 72 % av konkurrenternas – mer än dubbla felfrekvens.
Analytiker från Finlands Yle noterade en vanlig taktik på alla plattformar:”Många svar innehåller vad som kan kallas”ceremoniella citat”– referenser som lagts till för att skapa ett intryck av grundlig forskning, men som faktiskt inte stöder de angivna påståendena när de kontrolleras.”
Dessa falska tillskrivningar gör det nästan omöjligt för användare att verifiera informationen. innehåller betydande fel som föråldrade fakta eller”hallucinerade”detaljer.
Dessa fynd överensstämmer med en bredare branschtrend av AI opålitlighet, som ses i nyligen uppmärksammade misslyckanden som en Deloitte-rapport för den australiensiska regeringen som innehöll AI-tillverkade juridiska hänvisningar och en Google Gmail AI-integration som manipulerade innehållet i e-postmeddelanden.
Förtroende
För pålitliga nyhetsvarumärken är insatserna särskilt höga. En separat BBC/Ipsos-studie som publicerades tillsammans med huvudrapporten avslöjar en oroande uppfattningsklyfta: nästan hälften av personer under 35 år har redan förtroende för AI-assistenter korrekta nyhetssammanfattningar.
När dessa sammanfattningar är felaktiga skyller publiken på både AI-leverantören och nyhetsorganisationen som nämns som källa.
Denna felaktiga tillskrivning skapar ett direkt rykteshot mot journalistisk integritet. Rapportens förord ger en rak bedömning:”AI-assistenter är fortfarande inte ett tillförlitligt sätt att få tillgång till och konsumera nyheter.”
Problemet förvärras av den självsäkra, auktoritativa ton som assistenterna antar, som lätt kan vilseleda användare. Sådant beteende återspeglar oro från tidigare säkerhetsutvärderingar över laboratorier som fann att AI-modeller ofta uppvisar”extrem sycophancy”eller en oförtjänt känsla av auktoritet.
Som svar på dessa systemproblem efterlyser EBU och BBC en formell dialog med teknikföretag för att fastställa bättre standarder för säkerhet, noggrannhet och transparens. href=”https://www.bbc.co.uk/aboutthebbc/documents/news-integrity-in-ai-assistants-toolkit.pdf”target=”_blank”>”News Integrity in AI Assistants Toolkit” för att ge utvecklare handlingskraftig vägledning.
Peter Archer, Generative AI Program Director för BBC’s AI betonade en samarbetsstrategi och sa:”Trots vissa förbättringar är det uppenbart att det fortfarande finns betydande problem med dessa assistenter. Vi vill att dessa verktyg ska lyckas och är öppna för att arbeta med AI-företag för att leverera till publiken.”
I takt med att AI-assistenter blir en allt vanligare inkörsport till information, är det att säkerställa att deras tillförlitlighet inte längre är en hälsosam komponent för att upprätthålla en hälsosam information, det är bara en teknisk utmaning. ekosystem.
