Ante una avalancha de contenido de baja calidad generado por IA, el servidor de preimpresión académica arXiv está endureciendo sus reglas de envío de artículos de ciencias de la computación.
En un anuncio del 31 de octubre, la influyente plataforma declaró que su categoría de Ciencias de la Computación (CS) ya no aceptará artículos de revisión o documentos de posición a menos que ya hayan pasado la revisión por pares en una revista o conferencia reconocida.
La medida está diseñada para reducir la carga de los moderadores voluntarios y enfrenta directamente una avalancha de presentaciones que, según arXiv, son”rápidas y fáciles de escribir”con IA generativa, pero que a menudo carecen de sustancia.
Una avalancha de’descuidos’generados por IA
En un esfuerzo por salvaguardar la calidad de la investigación, arXiv está enfrentando directamente el impacto de los grandes modelos de lenguaje en las publicaciones académicas. La plataforma se ha visto inundada de envíos, particularmente en su sección de informática, que se mueve rápidamente.
Según su declaración oficial, el sitio ahora recibe”cientos de artículos de revisión cada mes”. Su enorme volumen se ha vuelto inmanejable para el sistema de investigación de antecedentes de la plataforma.
Muchas de estas presentaciones no cumplen con los estándares académicos básicos. Los moderadores de arXiv descubrieron que”la mayoría de los artículos de revisión que recibimos son poco más que bibliografías comentadas, sin una discusión sustancial sobre temas de investigación abiertos”.
Dichos artículos contribuyen al ruido académico, haciendo perder el tiempo a los investigadores que buscan ideas novedosas. Tal facilidad de producción ha generado una presión significativa sobre los expertos voluntarios que examinan los artículos.
Como explicó arXiv,”la IA generativa y los grandes modelos de lenguaje se han sumado a esta avalancha al hacer que los artículos, especialmente los que no presentan nuevos resultados de investigación, sean rápidos y fáciles de escribir”.
Esta oleada de contenido de bajo esfuerzo amenaza con enterrar la investigación legítima y diluir el valor de la plataforma.
Las herramientas sofisticadas que permiten esta avalancha también están creciendo en número y capacidad. Artículos recientes, como uno que describe un asistente de investigación de IA con múltiples agentes, demuestran una tecnología capaz de automatizar todo el proceso de escritura académica, desde la ideación hasta la redacción.
Esta tecnología hace que sea trivial generar revisiones de literatura que parezcan plausibles pero, en última instancia, vacías, lo que exacerba el problema que arXiv ahora está tratando de resolver. Exigir una revisión previa por pares actúa como un filtro crucial, subcontratando el control de calidad inicial a revistas y conferencias establecidas.
Un sistema bajo presión
Si bien el cambio de política es nuevo, el problema subyacente no lo es. El proceso de revisión por pares académicos ha estado luchando durante años bajo una cultura de”publicar o perecer”que incentiva la cantidad sobre la calidad.
Expertos como Satoshi Tanaka de la Universidad Farmacéutica de Kioto han argumentado que el proceso de revisión por pares en el mundo académico”está en crisis”.
Agravando la situación La crisis es el grupo limitado de revisores voluntarios, que están abrumados por la cantidad de envíos. Esta fatiga crea una vulnerabilidad que las herramientas de IA, tanto para bien como para mal, están comenzando a explotar.
arXiv ha estado en el centro de los debates sobre la IA y la integridad académica antes. El año pasado, incluso se descubrió que los investigadores incorporaban comandos ocultos en sus artículos para manipular sistemas de revisión impulsados por IA, una práctica conocida como inyección rápida.
Al ocultar instrucciones en texto blanco o fuentes microscópicas, los autores intentaron engañar a los sistemas automatizados para que dieran retroalimentación positiva. Ese incidente destacó la facilidad con la que se podían engañar los sistemas automatizados, lo que socavó todo el proceso de revisión.
Los matices en el reciente cambio de arXiv fueron incluso una fuente de confusión, y algunos medios inicialmente informaron erróneamente el alcance de la nueva regla.
No es una nueva política, sino una aplicación necesaria
Citando una afluencia inmanejable de presentaciones, los funcionarios de arXiv aclararon que el cambio es más una acción de cumplimiento que una nueva política.
Los artículos de revisión y los documentos de posición nunca fueron tipos de contenido oficialmente aceptados, pero históricamente se permitían a discreción del moderador cuando eran de alta calidad y de interés académico.
Una reciente explosión en el volumen, impulsada por la IA, simplemente ha hecho que ese enfoque discrecional sea insostenible. Proteger el tiempo de estos moderadores voluntarios, la base del sistema de preimpresión, es esencial.
Las pautas de la plataforma arXiv establecen que los autores humanos son totalmente responsables de cualquier contenido producido por herramientas de IA y prohíben explícitamente incluir a una IA como coautor.
Adoptar esta nueva práctica de moderación para la categoría CS es una extensión lógica de este principio, lo que refuerza que la validación dirigida por humanos sigue siendo primordial. Los editores de toda la industria están lidiando con esto, creando políticas fragmentadas.
Mientras que algunos permiten el uso limitado de la IA, otros como Elsevier lo han prohibido por completo, citando el”riesgo de que la tecnología genere conclusiones incorrectas, incompletas o sesgadas”.
De cara al futuro, la plataforma ha indicado que otras disciplinas podrían ver cambios similares. En su anuncio, arXiv señaló:”Si otras categorías ven un aumento similar en los artículos de revisión y documentos de posición escritos por LLM, pueden optar por cambiar sus prácticas de moderación de manera similar…”
Tal movimiento sugiere un posible cambio en toda la plataforma si la ola de contenido generado por IA continúa extendiéndose. Posiciona la medida de arXiv no como una solución aislada, sino como un indicador potencial de cómo toda la comunidad científica se verá obligada a adaptarse a los desafíos y tentaciones de la IA generativa.
