W obliczu zalewu niskiej jakości treści generowanych przez sztuczną inteligencję akademicki serwer preprintów arXiv zaostrza zasady przesyłania artykułów z informatyki.
W ogłoszeniu z 31 października wpływowa platforma stwierdziła, że jej kategoria Informatyka (CS) nie będzie już przyjmować artykułów poglądowych ani stanowisk, chyba że przeszły one już recenzję w uznanym czasopiśmie lub konferencji.
To posunięcie ma na celu zmniejszenie obciążenia moderatorów-wolontariuszy i bezpośrednio stawia czoła zalewowi zgłoszeń, które według arXiv są „szybkie i łatwe do napisania” dzięki generatywnej sztucznej inteligencji, ale często brakuje im treści.
Zalew „wpadków” generowanych przez sztuczną inteligencję
Starając się chronić jakość badań, arXiv bezpośrednio konfrontuje się z wpływem dużych modeli językowych na publikacje akademickie. Platforma została zalana zgłoszeniami, szczególnie w szybko rozwijającej się sekcji poświęconej informatyce.
Według oficjalnego oświadczenia, witryna otrzymuje obecnie „setki artykułów recenzyjnych co miesiąc”. System weryfikacji platformy nie może sobie poradzić z samą ilością zgłoszeń.
Wiele z tych zgłoszeń nie spełnia podstawowych standardów naukowych. Moderatorzy arXiv odkryli, że „większość artykułów recenzyjnych, które otrzymujemy, to niewiele więcej niż bibliografie z adnotacjami, bez merytorycznego omówienia kwestii otwartych badań.”
Takie artykuły przyczyniają się do szumu akademickiego, marnując czas badaczy poszukujących nowatorskich spostrzeżeń. Taka łatwość tworzenia doprowadziła do znacznego obciążenia ekspertów-wolontariuszy, którzy weryfikują artykuły.
Jak wyjaśnił arXiv, „generatywna sztuczna inteligencja/modele wielkojęzykowe przyczyniły się do tej powodzi, dzięki czemu artykuły – zwłaszcza te, które nie wprowadzają nowych wyników badań – są szybkie i łatwe do napisania”.
Ten napływ treści niewymagających dużego wysiłku grozi pogrzebaniem legalnych badań i osłabieniem wartości platformy.
Wyrafinowanych narzędzi umożliwiających tę powódź również rośnie liczba i możliwości. Niedawne artykuły, takie jak opis wieloagentowego asystenta badawczego zajmującego się sztuczną inteligencją, demonstrują technologię zdolną do zautomatyzowania całego procesu pisania akademickiego, od pomysłu do szkicu.
Dzięki tej technologii generowanie wiarygodnie brzmiących, ale ostatecznie pustych recenzji literatury staje się trywialne, co pogłębia problem, który arXiv próbuje teraz rozwiązać. Wymóg wcześniejszej recenzji działa jak kluczowy filtr, zlecając wstępną kontrolę jakości uznanym czasopismom i konferencjom.
System pod presją
Chociaż zmiana polityki jest nowa, podstawowy problem już nie. proces wzajemnej oceny akademickiej od lat boryka się z problemem kultury „publikuj lub zgiń”, która zachęca do ilości ponad jakość.
Eksperci tacy jak Satoshi Tanaka z Uniwersytetu Farmaceutycznego w Kioto argumentują, że proces wzajemnej oceny w środowisku akademickim „jest w fazie kryzys”.
Kryzys pogłębia ograniczona liczba recenzentów-ochotników, których przytłacza liczba zgłoszeń. To zmęczenie stwarza lukę, którą narzędzia sztucznej inteligencji zaczynają wykorzystywać, zarówno w dobrym, jak i złym celu.
arXiv był już w centrum debat na temat sztucznej inteligencji i uczciwości akademickiej. W zeszłym roku odkryto nawet, że badacze umieszczali w swoich artykułach ukryte polecenia w celu manipulowania systemami recenzji opartymi na sztucznej inteligencji, co jest praktyką znaną jako natychmiastowe wstrzykiwanie.
Ukrywając instrukcje białym tekstem lub mikroskopijną czcionką, autorzy próbowali oszukać zautomatyzowane systemy, aby dawały pozytywne opinie. Incydent ten uwydatnił, jak łatwo można oszukać zautomatyzowane systemy, podważając cały proces przeglądu.
Nuanse w ostatniej zmianie arXiv były nawet źródłem zamieszania, a niektóre sklepy początkowo błędnie informowały o zakresie nowej zasady.
Nie nowa polityka, ale konieczne egzekwowanie
Urzędnicy arXiv wyjaśnili, powołując się na niemożliwy do opanowania napływ zgłoszeń że zmiana jest raczej działaniem na rzecz egzekwowania prawa niż nową polityką.
Artykuły przeglądowe i stanowiska nigdy nie były oficjalnie akceptowanymi typami treści, ale historycznie były dozwolone według uznania moderatora, jeśli były wysokiej jakości i interesujące naukowo.
Niedawny gwałtowny wzrost objętości, napędzany sztuczną inteligencją, po prostu sprawił, że takie uznaniowe podejście stało się nie do utrzymania. Ochrona czasu tych moderatorów-ochotników – podstawa systemu preprintów – jest niezbędna.
Wytyczne platformy arXiv stanowią, że autorzy będący ludźmi ponoszą pełną odpowiedzialność za wszelkie treści tworzone przez narzędzia sztucznej inteligencji i wyraźnie zabraniają umieszczania sztucznej inteligencji jako współautora.
Przyjęcie tej nowej praktyki moderacji dla kategorii CS jest logicznym rozszerzeniem tej zasady, podkreślając, że weryfikacja kierowana przez człowieka pozostaje najważniejsza. Wydawcy z całej branży borykają się z tym problemem, tworząc fragmentaryczne zasady.
Chociaż niektórzy pozwalają na ograniczone wykorzystanie sztucznej inteligencji, inni, np. Elsevier, całkowicie tego zakazali, powołując się na „ryzyko, że technologia będzie generować nieprawidłowe, niekompletne lub stronnicze wnioski.”
Patrząc w przyszłość, platforma wskazała, że w innych dyscyplinach mogą nastąpić podobne zmiany. W swoim ogłoszeniu arXiv zauważył: „Jeśli inne kategorie odnotują podobny wzrost liczby artykułów poglądowych i stanowisk przedstawianych przez LLM, mogą w podobny sposób zmienić swoje praktyki moderacyjne…”
Takie posunięcie sugeruje potencjalną zmianę na całej platformie, jeśli fala treści generowanych przez sztuczną inteligencję będzie się nadal rozprzestrzeniać. Pozycjonuje to ruch arXiv nie jako odosobnione rozwiązanie, ale jako potencjalną przyczynę tego, jak cała społeczność naukowa będzie zmuszona dostosować się do wyzwań i pokus generatywnej sztucznej inteligencji.
