Inför en störtflod av AI-genererat innehåll av låg kvalitet skärper den akademiska förtrycksservern arXiv sina inlämningsregler för datavetenskapliga uppsatser.
I ett tillkännagivande den 31 oktober, såvida den inflytelserika plattformen inte längre kommer att acceptera att dess datavetenskapliga plattform (CS) inte längre accepterar en artikel eller en CS-post. de har redan godkänts av expertgranskning i en erkänd tidskrift eller konferens.
Förslaget är utformat för att minska bördan för frivilliga moderatorer och konfronterar direkt en flod av inlägg som arXiv säger är”snabba och lätta att skriva”med generativ AI men ofta saknar substans.
Många av dessa bidrag uppfyller inte grundläggande vetenskapliga standarder. arXiv-moderatorer fann att”majoriteten av översiktsartiklarna vi får är lite mer än kommenterade bibliografier, utan någon substantiell diskussion om öppna forskningsfrågor.”
Sådana artiklar bidrar till akademiskt brus och slösar bort tiden för forskare som letar efter nya insikter. Sådan lätthet i produktionen har lett till en betydande påfrestning för de frivilliga experterna som veterinärar uppsatser.
Som arXiv förklarade,”generativa AI/stora språkmodeller har lagt till denna översvämning genom att göra papper-särskilt tidningar som inte introducerar nya forskningsresultat-snabba och lätta att skriva.”
Denna ökning av lågansträngande innehåll hotar plattformen för att begrava plattformen med låg ansträngning.
Sofistikerade verktyg som möjliggör denna översvämning växer också i antal och kapacitet. Nya artiklar, som en som beskriver en multiagent AI-forskningsassistent, visar teknik som kan automatisera hela den akademiska skrivprocessen från idé till utformning.
Denna teknik gör det trivialt att generera trovärdiga men i slutändan ihåliga litteraturrecensioner, vilket förvärrar problemet som arXiv nu försöker lösa. Att kräva tidigare referentgranskning fungerar som ett avgörande filter och lägger ut den första kvalitetskontrollen till etablerade tidskrifter och konferenser.
Ett system under press
Medan policyändringen är ny, är det inte det underliggande problemet. Den akademiska peer review-processen har kämpat i flera år under en”publicera eller förgås”-kultur som stimulerar kvantitet framför kvalitet.
Experter som Satoshi Tanaka från Kyoto Pharmaceutical har hävdat att i en Peoto Pharmaceu-process en kris”.
Krisen förvärras av den begränsade poolen av frivilliga granskare, som är överväldigade av antalet bidrag. Denna trötthet skapar en sårbarhet som AI-verktyg, både på gott och ont, börjar utnyttja.
arXiv har tidigare varit i centrum för debatter om AI och akademisk integritet. Förra året upptäcktes forskare till och med att bädda in dolda kommandon i sina papper för att manipulera AI-drivna granskningssystem, en praxis som kallas prompt injektion.
Genom att dölja instruktioner i vit text eller mikroskopiska typsnitt försökte författare lura automatiserade system att ge positiv feedback. Den incidenten belyste hur lätt automatiserade system kunde spelas, vilket undergrävde hela granskningsprocessen.
Nyanserna i arXivs senaste förändring var till och med en källa till förvirring, med vissa försäljningsställen som initialt felaktigt rapporterade omfattningen av den nya regeln.
Inte en ny policy, utan en nödvändig upprätthållande
Recensionsartiklar och positionsdokument var aldrig officiellt accepterade innehållstyper utan tilläts historiskt efter moderators gottfinnande när de var av hög kvalitet och vetenskapligt intresse.
En nyligen genomförd volymexplosion, driven av AI, har helt enkelt gjort det otänkbart. Att skydda tiden för dessa frivilliga moderatorer – grunden för preprint-systemet – är viktigt.
ArXiv-plattformens riktlinjer säger att mänskliga författare är fullt ansvariga för allt innehåll som produceras av AI-verktyg och förbjuder uttryckligen att lista en AI som medförfattare.
Att anta denna nya modereringsprincip för CS-kategorin är en logisk förlängning av den här mänskliga utvidgningen. Publishers över hela branschen brottas med detta och skapar fragmenterade policyer.
Medan vissa tillåter begränsad AI-användning, har andra som Elsevier förbjudit det helt och hållet på grund av att det”vilja, med hänvisning till tekniken”slutsatser.”
När man ser framåt har plattformen indikerat att andra discipliner kan se liknande förändringar. I sitt tillkännagivande, noterade arXiv,”Om andra kategorier ser en liknande ökning av LLM-skrivna recensionsartiklar och positionsdokument, kan de välja att ändra sina modereringsmetoder på liknande sätt…”
Ett sådant drag tyder på en potentiell plattformsövergripande förändring om vågen av AI-genererat innehåll fortsätter att spridas. Det positionerar arXivs drag inte som en isolerad lösning, utan som en potentiell klockslag för hur hela det vetenskapliga samfundet kommer att tvingas anpassa sig till utmaningarna och frestelserna med generativ AI.
