Face à un déluge de contenus de mauvaise qualité générés par l’IA, le serveur de prépublication universitaire arXiv renforce ses règles de soumission pour les articles en informatique.
Dans une annonce du 31 octobre, la plateforme influente a déclaré que sa catégorie Informatique (CS) n’accepterait plus les articles de synthèse ou les exposés de position à moins qu’ils n’aient déjà passé l’examen par les pairs dans une revue ou une conférence reconnue.
Cette décision vise à réduire le fardeau des modérateurs bénévoles et à faire face directement à un flot de soumissions qui, selon arXiv, sont « rapides et faciles à rédiger » avec l’IA générative, mais manquent souvent de substance.
Un flot de « slops » générés par l’IA
Dans un effort pour sauvegarder la qualité de la recherche, arXiv est directement confronté à l’impact des grands modèles linguistiques sur la publication universitaire. La plateforme a été inondée de soumissions, en particulier dans sa section informatique en constante évolution.
Selon son communiqué officiel, le site reçoit désormais « des centaines d’articles de synthèse chaque mois ». Son volume est devenu ingérable pour le système de vérification de la plateforme.
Beaucoup de ces soumissions ne répondent pas aux normes scientifiques de base. Les modérateurs d’arXiv ont constaté que « la majorité des articles de synthèse que nous recevons ne sont guère plus que des bibliographies annotées, sans discussion substantielle sur des questions de recherche ouvertes. »
Ces articles contribuent au bruit académique, faisant perdre du temps aux chercheurs à la recherche de nouvelles idées. Une telle facilité de production a entraîné une pression importante sur les experts bénévoles qui examinent les articles.
Comme l’explique arXiv, « l’IA générative et les grands modèles de langage ont ajouté à ce flot en rendant les articles – en particulier ceux qui n’introduisent pas de nouveaux résultats de recherche – rapides et faciles à rédiger. »
Cette vague de contenu nécessitant peu d’efforts menace d’enterrer la recherche légitime et de diluer la valeur de la plateforme.
Les outils sophistiqués permettant ce flot se multiplient également. nombre et capacité. Des articles récents, comme celui décrivant un assistant de recherche en IA multi-agents, démontrent une technologie capable d’automatiser l’ensemble du processus de rédaction académique, de l’idéation à la rédaction.
Cette technologie rend triviale la génération de revues de littérature apparemment plausibles mais finalement creuses, exacerbant le problème qu’arXiv tente maintenant de résoudre. Exiger un examen préalable par les pairs agit comme un filtre crucial, externalisant le contrôle qualité initial vers des revues et des conférences établies.
Un système sous pression
Bien que le changement de politique soit nouveau, le problème sous-jacent ne l’est pas. Le processus d’évaluation par les pairs universitaires connaît des difficultés depuis des années en raison d’une culture du « publier ou périr » qui encourage la quantité plutôt que la qualité.
Des experts comme Satoshi Tanaka de l’Université pharmaceutique de Kyoto ont soutenu que le processus d’évaluation par les pairs dans le monde universitaire « est en crise ».
Ce qui aggrave le problème. La crise est le bassin limité d’évaluateurs bénévoles, submergés par le nombre de soumissions. Cette lassitude crée une vulnérabilité que les outils d’IA, pour le meilleur comme pour le pire, commencent à exploiter.
arXiv a déjà été au centre des débats sur l’IA et l’intégrité académique. L’année dernière, des chercheurs ont même été découverts en train d’intégrer des commandes cachées dans leurs articles pour manipuler des systèmes de révision basés sur l’IA, une pratique connue sous le nom d’injection rapide.
En dissimulant les instructions dans du texte blanc ou des polices microscopiques, les auteurs ont tenté de tromper les systèmes automatisés pour qu’ils donnent des commentaires positifs. Cet incident a mis en évidence la facilité avec laquelle les systèmes automatisés pouvaient être manipulés, compromettant l’ensemble du processus d’examen.
La nuance du récent changement d’arXiv était même une source de confusion, certains médias ayant initialement signalé de manière erronée la portée de la nouvelle règle.
Pas une nouvelle politique, mais une application nécessaire
Citant un afflux ingérable de soumissions, les responsables d’arXiv ont précisé que le le changement est plus une mesure coercitive qu’une nouvelle politique.
Les articles de synthèse et les exposés de position n’ont jamais été des types de contenu officiellement acceptés, mais ont été historiquement autorisés à la discrétion du modérateur lorsqu’ils étaient de haute qualité et d’intérêt scientifique.
Une récente explosion de volume, alimentée par l’IA, a tout simplement rendu cette approche discrétionnaire intenable. Protéger le temps de ces modérateurs bénévoles, fondement du système de prépublication, est essentiel.
Les directives de la plateforme arXiv stipulent que les auteurs humains sont entièrement responsables de tout contenu produit par des outils d’IA et interdisent explicitement de répertorier une IA comme co-auteur.
L’adoption de cette nouvelle pratique de modération pour la catégorie CS est une extension logique de ce principe, renforçant le fait que la validation humaine reste primordiale. Les éditeurs du secteur sont confrontés à ce problème et créent des politiques fragmentées.
Bien que certains autorisent une utilisation limitée de l’IA, d’autres, comme Elsevier, l’ont entièrement interdite, citant le”risque que la technologie génère des informations incorrectes, incomplètes ou biaisées”. conclusions.”
Pour l’avenir, la plateforme a indiqué que d’autres disciplines pourraient connaître des changements similaires. Dans son annonce, arXiv a noté: « Si d’autres catégories constatent une augmentation similaire des articles de synthèse et des documents de position rédigés par des LLM, elles peuvent choisir de modifier leurs pratiques de modération de la même manière… »
Une telle décision suggère un changement potentiel à l’échelle de la plateforme si la vague de contenu généré par l’IA continue de se propager. Il positionne la décision d’arXiv non pas comme une solution isolée, mais comme un indicateur potentiel de la manière dont l’ensemble de la communauté scientifique sera obligée de s’adapter aux défis et aux tentations de l’IA générative.
