AI によって生成された低品質のコンテンツの氾濫に直面して、学術プレプリント サーバー arXiv はコンピューター サイエンス論文の投稿ルールを厳格化しています。
10 月 31 日の発表で、この影響力のあるプラットフォームは、コンピュータ サイエンス (CS) カテゴリでは、既に認められた雑誌や会議での査読を通過していない限り、レビュー記事やポジションペーパーを受け付けないと発表しました。
この動きは、ボランティアのモデレーターの負担を軽減することを目的としており、arXiv が生成 AI で「速くて書きやすい」と言っているものの、中身が欠けていることが多いという大量の投稿に直接直面しています。
AI によって生成された「スロップ」の洪水
研究の質を守る取り組みの中で、arXiv は学術出版に対する大規模な言語モデルの影響に直接直面しています。このプラットフォームには、特に動きの速いコンピューター サイエンス セクションに投稿が殺到しています。
公式声明によると、このサイトには現在「毎月数百件のレビュー記事」が寄せられています。その膨大な量は、プラットフォームの審査システムでは管理できなくなりました。
これらの投稿の多くは、基本的な学術基準を満たしていません。 arXiv のモデレーターは、「私たちが受け取るレビュー記事の大部分は注釈付きの参考文献に過ぎず、未解決の研究問題についての実質的な議論はありません。」
そのような論文は学術的なノイズに寄与し、新しい洞察を求める研究者の時間を無駄にしています。このような制作の容易さは、論文を精査するボランティアの専門家に大きな負担をもたらしています。
arXiv が説明したように、「生成 AI/大規模言語モデルは、論文、特に新しい研究結果を紹介していない論文を迅速かつ簡単に作成できるようにすることで、この氾濫に拍車をかけています。」
この労力の少ないコンテンツの急増は、正当な研究を埋もれさせ、プラットフォームの価値を薄める恐れがあります。
この氾濫を可能にする高度なツールも成長しています。数も能力も。マルチエージェント AI 研究アシスタントについて説明した論文など、最近の論文では、着想から草稿に至る学術執筆プロセス全体を自動化できるテクノロジーが実証されています。
このテクノロジーにより、もっともらしく聞こえるが結局は空虚な文献レビューを生成することが簡単になり、arXiv が現在解決しようとしている問題が悪化しています。事前の査読の要求は重要なフィルターとして機能し、初期の品質管理を確立されたジャーナルや学会に委託します。
プレッシャーにさらされるシステム
ポリシーの変更は新しいものですが、根本的な問題はそうではありません。 学術的な査読プロセスは、質よりも量を奨励する「出版するか消滅するか」の文化の下で長年苦戦してきました。
京都薬科大学の田中聡氏のような専門家は、学術界の査読プロセスは「危機に瀕している」と主張しています。
危機をさらに悪化させているのが、限られた人材のプールです。ボランティアの査読者は、投稿数の多さに圧倒されています。この疲労により脆弱性が生じ、AI ツールは良くも悪くも悪用し始めています。
arXiv は、これまで AI と学術的誠実性に関する議論の中心にありました。昨年、研究者は、AI を利用したレビュー システムを操作するための隠しコマンドを論文に埋め込んでいることさえ発見されました。これはプロンプト インジェクションとして知られています。
著者らは、白いテキストや極小フォントで指示を隠すことによって、自動システムをだまして肯定的なフィードバックを与えようとしました。この事件は、自動化されたシステムがいかに簡単に騙され得るかを浮き彫りにし、審査プロセス全体を弱体化させた。
arXiv の最近の変更の微妙な違いは混乱の原因でさえあり、一部の報道機関は最初に新しい規則の範囲を誤って報告した。
新しいポリシーではないが、必要な施行
arXiv 関係者は、管理できないほどの申請の流入を挙げた。この変更は新しいポリシーというより強制措置であることを明らかにしました。
レビュー記事や意見書は、正式に受け入れられたコンテンツ タイプではありませんでしたが、歴史的には、質が高く学術的な関心がある場合にはモデレーターの裁量によって許可されていました。
最近の AI による量の爆発により、その裁量的アプローチは単純に受け入れられなくなりました。プレプリント システムの基盤であるこれらのボランティア モデレーターの時間を保護することは不可欠です。
arXiv プラットフォーム ガイドラインでは、人間の作成者が AI ツールによって作成されたコンテンツに対して全責任を負い、AI を共著者としてリストすることを明示的に禁止していると述べています。
CS カテゴリにこの新しいモデレーターの実践を採用することは、この原則の論理的な拡張であり、人間主導の検証が引き続き最重要であることを強化します。業界全体の出版社がこの問題に取り組んでおり、断片的なポリシーを作成しています。
一部の出版社は限定的に AI の使用を許可していますが、エルゼビアなどの出版社は全面的に禁止しています。
将来を見据えて、プラットフォームは他の分野でも同様の変化が見られる可能性があることを示しています。 arXiv は発表の中で、「他のカテゴリーでも、LLM が執筆したレビュー記事や意見書が同様に増加した場合、同様の方法でモデレーションの実践を変更することを選択するかもしれません…」
このような動きは、AI 生成コンテンツの波が広がり続けた場合、プラットフォーム全体に変化が生じる可能性を示唆しています。これは、arXiv の動きを単独の解決策としてではなく、科学コミュニティ全体が生成 AI の課題や誘惑にどのように適応せざるを得なくなるかの潜在的な先導役として位置付けています。
