Den akademiske preprint-serveren arXiv står overfor en syndflod av lavkvalitets, AI-generert innhold, skjerper innleveringsreglene for informatikkoppgaver.
I en kunngjøring 31. oktober, vil den innflytelsesrike papirkategorien (CSs) ikke lenger akseptere dens innflytelsesrike papir-kategori (CS) de har allerede bestått fagfellevurdering på et anerkjent tidsskrift eller konferanse.
Tiltaket er utformet for å redusere byrden på frivillige moderatorer og konfronterer direkte en flom av bidrag som arXiv sier er «raske og enkle å skrive» med generativ AI, men ofte mangler substans.
Mange av disse innsendingene oppfyller ikke grunnleggende vitenskapelige standarder. arXiv-moderatorer fant at”flertallet av oversiktsartiklene vi mottar er lite mer enn kommenterte bibliografier, uten noen vesentlig diskusjon om åpne forskningsspørsmål.”
Slike artikler bidrar til akademisk støy, og kaster bort tiden til forskere som leter etter ny innsikt. En slik enkel produksjon har ført til en betydelig belastning på de frivillige ekspertene som veterinærer papirer.
Som arXiv forklarte,”generative AI/store språkmodeller har lagt til denne flommen ved å lage papirer – spesielt papirer som ikke introduserer nye forskningsresultater – raske og enkle å skrive.”
Denne bølgen av lavt anstrengende innhold truer plattformen til å begrave.
Sofistikerte verktøy som muliggjør denne flommen vokser også i antall og kapasitet. Nyere artikler, som en som beskriver en multiagent AI-forskningsassistent, demonstrerer teknologi som er i stand til å automatisere hele den akademiske skriveprosessen fra idé til utkast.
Denne teknologien gjør det trivielt å generere plausibelt klingende, men til slutt hule litteraturanmeldelser, noe som forverrer problemet arXiv nå prøver å løse. Å kreve tidligere fagfellevurdering fungerer som et avgjørende filter, og outsourcer innledende kvalitetskontroll til etablerte tidsskrifter og konferanser.
Et system under press
Selv om policyendringen er ny, er det ikke det underliggende problemet. Den akademiske fagfellevurderingsprosessen har slitt i årevis under en «publiser eller forgå»-kultur som stimulerer kvantitet fremfor kvalitet.
Eksperter som Satoshi Tanaka fra Kyoto Pharmaceutical har hevdet i en Peoto Pharmaceutical-prosess. en krise.”
Krisen er sammensatt av den begrensede mengden av frivillige anmeldere, som er overveldet av antallet innsendinger. Denne trettheten skaper en sårbarhet som AI-verktøy, både på godt og vondt, begynner å utnytte.
arXiv har vært i sentrum for debatter om AI og akademisk integritet før. I fjor ble det til og med funnet forskere som innebygde skjulte kommandoer i papirene sine for å manipulere AI-drevne gjennomgangssystemer, en praksis kjent som prompt injection.
Ved å skjule instruksjoner i hvit tekst eller mikroskopiske fonter, forsøkte forfattere å lure automatiserte systemer til å gi positive tilbakemeldinger. Denne hendelsen fremhevet hvor enkelt automatiserte systemer kunne spilles, og undergraver hele gjennomgangsprosessen.
Nyansene i arXivs nylige endring var til og med en kilde til forvirring, med noen utsalgssteder som i utgangspunktet feilrapporterte omfanget av den nye regelen.
Ikke en ny policy, men en nødvendig håndhevelse
arXiv-tjenestemenn klargjorde at endringen mer er en håndhevelse enn en ny policy.
Anmeldelsesartikler og posisjonspapirer var aldri offisielt aksepterte innholdstyper, men ble historisk sett tillatt etter moderators skjønn når de var av høy kvalitet og vitenskapelig interesse.
En nylig eksplosjon i volum, drevet av AI, har rett og slett gjort det uaktuelt. Å beskytte tiden til disse frivillige moderatorene – grunnsteinen i preprint-systemet – er avgjørende.
ArXiv-plattformens retningslinjer sier at menneskelige forfattere er fullt ut ansvarlige for alt innhold produsert av AI-verktøy og forbyr eksplisitt å oppgi en AI som medforfatter.
Å ta i bruk denne nye modereringspraksisen for CS-kategorien er en logisk utvidelse av denne menneskelige forlengelsen. Utgivere i hele bransjen sliter med dette, og lager fragmenterte retningslinjer.
Selv om noen tillater begrenset bruk av AI, har andre som Elsevier forbudt det fullstendig «vilje, med henvisning til at teknologien er”riktig”konklusjoner.”
Når vi ser fremover, har plattformen indikert at andre disipliner kan se lignende endringer. I sin kunngjøring, bemerket arXiv,”Hvis andre kategorier ser en lignende økning i LLM-skrevne oversiktsartikler og posisjonspapirer, kan de velge å endre modereringspraksis på lignende måte…”
Et slikt trekk antyder et potensielt plattformomfattende skifte hvis bølgen av AI-generert innhold fortsetter å spre seg. Det posisjonerer arXivs trekk ikke som en isolert løsning, men som en potensiell klokke for hvordan hele det vitenskapelige samfunnet vil bli tvunget til å tilpasse seg utfordringene og fristelsene til generativ AI.
