¿LISTOS PARA LOS REVISORES ROBÓTICOS?

Por Jeffrey Brainard

Sciencie.org/04/09/2026/Stephan Schmitz/FolioArt

Eres editor o revisor, y los manuscritos sin leer se acumulan en tu escritorio. Algunos de tus colegas están probando herramientas de revisión basadas en inteligencia artificial (IA) que podrían aliviar la carga. Algunas herramientas verifican citas o cálculos incorrectos. Otras prometen un juicio sobre la validez de las afirmaciones del manuscrito, o incluso sobre si contribuyen al conocimiento en ese campo. ¿Leerías esas evaluaciones? ¿Confiarías en ellas? ¿Criticarías o rechazarías un artículo basándote en ellas?

Estas preguntas se ciernen sobre una comunidad científica que lleva años lidiando con un sistema de revisión por pares sobrecargado y que ahora se enfrenta a nuevos e inmensos desafíos creados por la IA generativa. El número de publicaciones científicas se ha duplicado en 5 años, superando los 8 millones en 2025 ( véase el gráfico a continuación ), y algunas editoriales informan de un aumento aún mayor en las presentaciones, impulsado en parte por la mayor disponibilidad de grandes modelos de lenguaje (LLM), que pueden generar borradores en minutos. Los editores tienen cada vez más dificultades para encontrar revisores dispuestos, lo que contribuye a retrasos entre la presentación y la publicación que pueden prolongarse durante meses o incluso más de un año. Para conseguir una sola revisión completa, , según un informe de este año de la empresa de alojamiento de contenidos Silverchair.

Algunos investigadores y editores creen que la IA tendrá que formar parte de la solución. Automatizar parte del proceso de revisión por pares podría acelerar la publicación y ahorrar tiempo a los investigadores, según sus defensores. De hecho, cada vez más revisores utilizan estas herramientas: en una encuesta global realizada por la editorial Frontiers a 1645 investigadores de diversos campos científicos, poco más de la mitad de los encuestados afirmó haber utilizado la IA para tareas de revisión en 2025 , incluyendo la redacción de comentarios y, en algunos casos, la revisión de métodos y estadísticas. Esta cifra representa un aumento con respecto al 29 % del año anterior, a pesar de que muchas revistas prohíben estos usos.

Pero otros se muestran escépticos ante la capacidad de las máquinas para proporcionar retroalimentación fiable, especialmente en los aspectos más importantes y fundamentales de la revisión por pares, como la evaluación de la novedad y la relevancia, evitando riesgos como el sesgo y la manipulación. «La crisis de la revisión por pares es real, y la IA parece prometedora [para ayudar], pero apresurarse irresponsablemente a automatizar gran parte del proceso de evaluación podría ser contraproducente», afirma Joachim Baumann, investigador postdoctoral de la Universidad de Stanford que estudia el impacto social de la IA. «Debemos asegurarnos de que las herramientas que implementemos sean adecuadas para la tarea».

A medida que la inteligencia artificial generativa acelera el aumento, que se ha prolongado durante décadas, de las publicaciones científicas, los editores y revisores se esfuerzan por mantenerse al día.(Gráfico) V. Penney/ Ciencia ; (Datos) Dimensiones

En los últimos años, los proyectos de investigación y los programas piloto que ponen a prueba las capacidades de la IA se han multiplicado con ese objetivo. «Si conseguimos que los grandes modelos de lenguaje funcionen correctamente —y es evidente que cada vez lo hacen mejor—, sin duda creo que podrían ser la solución a este enorme problema», afirma Tom Hope, investigador del Instituto Allen para la IA y de la Universidad Hebrea de Jerusalén, que desarrolla herramientas de revisión basadas en IA. En opinión de Stephen Turner, científico de datos de la Universidad de Virginia (UVA), «la cuestión no es si la IA iguala la mejor revisión humana, sino si la revisión asistida por IA con rúbricas claras supera a la revisión promedio, inconsistente, influenciada por la fatiga y dependiente del estado de ánimo».

Por ahora, la mayoría de las revistas prohíben a los revisores el uso de herramientas de IA hasta que los editores determinen la mejor manera de garantizar revisiones de alta calidad. Sin embargo, a menudo, «la gente utiliza estas herramientas de forma clandestina y sin regulación», afirma Turner. «Es como el Lejano Oeste».

Teniendo esto en cuenta, Science ofrece esta guía sobre lo que los investigadores están descubriendo acerca de la revisión asistida por IA y cómo podría utilizarse de forma productiva.

Las evaluaciones realizadas por revisores humanos son un elemento fundamental en la comunicación académica. Sin embargo, pueden resultar frustrantemente subjetivas y superficiales, afirma Agnieszka Swiatecka-Urban, médica e investigadora en nefrología pediátrica en la Universidad de Virginia. Cuando los revisores han señalado deficiencias en sus manuscritos, algunos se han limitado a decir que estas «disminuyen su entusiasmo» por los resultados. «Es bastante irritante porque no se centra en la ciencia», comenta. «Y existe la tentación —que observo en muchos revisores— de simplemente leer por encima y no ser exhaustivos». También se ha demostrado que los revisores humanos tienden a favorecer el trabajo de investigadores prominentes y a realizar comentarios duros y críticos.

Swiatecka-Urban considera que la revisión por IA, si está bien diseñada, puede complementar o incluso superar a la revisión humana. Recientemente, solicitó a la IA sugerencias para mejorar varios de sus manuscritos y una solicitud de subvención, y los resultados le resultaron útiles; por ejemplo, para evaluar si las conclusiones se derivaban de los resultados y si las cifras se presentaban de forma consistente en el texto, las tablas y las figuras. «Lo que más me impresionó fue la objetividad», afirma.

Los estudios confirman que las revisiones generadas por máquinas también pueden ser más consistentes: cuando se pidió tanto a inteligencias artificiales como a personas que calificaran manuscritos de congresos, las calificaciones de las máquinas se agruparon más estrechamente que las de los revisores humanos , según un estudio reciente de Baumann y sus colegas. Algunos lo ven como algo positivo, una corrección a la falta de atención de los revisores humanos. Pero Baumann advierte que tal agrupamiento también podría promover una «monocultura intelectual» que penalice las ideas poco convencionales.

Otros investigadores valoran la diversidad de comentarios que ofrece la revisión por pares tradicional. «Lo que me gusta de las revisiones humanas es que recibes tres opiniones diferentes, y las tres son completamente distintas; cada persona siempre se fija en cosas diferentes», afirma Ruth Ley, microbióloga del Instituto Max Planck de Biología. «Es una pena perder la heterogeneidad del proceso».

Los revisores suelen discrepar debido a la subjetividad inherente a la evaluación de la novedad de los hallazgos de un manuscrito, una responsabilidad clave de la revisión por pares, pero notoriamente difícil de definir y precisar. Hope y sus colegas forman parte de los equipos que trabajan para desarrollar la capacidad de la IA para ayudar en este sentido. Su método utiliza un modelo de aprendizaje automático (LLM) para extraer afirmaciones clave sobre la novedad de un manuscrito; buscar en línea y resumir artículos relacionados publicados previamente; y evaluar cómo el nuevo artículo se diferencia de ese registro. En un estudio de 182 trabajos presentados a una reciente conferencia sobre aprendizaje automático, los evaluadores humanos consideraron que las revisiones de IA eran al menos tan buenas como las escritas por humanos para evaluar la novedad en la mayoría de los casos . Sin embargo, Hope reconoce que este enfoque podría pasar por alto contribuciones que cambian paradigmas y que los expertos humanos reconocerían, y que podría tener dificultades para mantenerse al día con campos que evolucionan rápidamente. Evaluar la novedad es "un problema muy interesante porque es muy difícil de evaluar", afirma.

Un área clave en la que los sistemas de gestión de la calidad (LLM) pueden destacar es en la realización de comprobaciones rutinarias y tediosas de corrección que los revisores humanos, a menudo con poco tiempo disponible, suelen omitir. Durante años, las editoriales han utilizado comprobaciones automatizadas para garantizar que los manuscritos no contengan plagio, que se informen de forma transparente los métodos empleados y que se cumplan otros estándares. Investigaciones recientes sugieren que los LLM podrían ampliar estas capacidades.

En un estudio, investigadores utilizaron GPT-5 de OpenAI para evaluar 2500 artículos seleccionados aleatoriamente y aceptados por tres importantes conferencias de aprendizaje automático entre 2018 y 2025. Descubrieron que la IA evaluó con éxito cada artículo según criterios específicos y precisos, como la corrección de los cálculos y la coincidencia del texto con los datos de las tablas, según informaron los investigadores en una preimpresión de arXiv de diciembre de 2025. La IA detectó que aproximadamente un tercio de los artículos contenían al menos un error que podía afectar la interpretación, la reproducibilidad o el uso posterior, y los evaluadores humanos confirmaron el 83 % de esos errores, aunque observaron que la mayoría no alteraban las conclusiones principales del artículo. La IA también fue más eficaz detectando errores matemáticos que errores de texto. «Los revisores humanos pueden no tener tiempo para revisar un artículo línea por línea», afirma James Zou, coautor del estudio e investigador de IA en Stanford. «Esto demuestra la complementariedad en la que la IA puede ser de gran ayuda».

Los editores afirman que la inteligencia artificial (IA) aún no está lista para sustituir las evaluaciones humanas sobre la originalidad o la calidad general de un manuscrito, pero algunos estudios sugieren que podría servir de base para esos juicios.A. Mastin/ Ciencias

Otro estudio reciente, publicado en mayo como preimpresión en arXiv, realizó una comparación detallada y directa entre las críticas humanas y las de inteligencia artificial (IA) del mismo manuscrito. En general, se constató que los revisores de IA eran más diligentes que los revisores humanos en tareas rutinarias pero laboriosas, como la ejecución autónoma del código informático adjunto al manuscrito para comprobar si respaldaba las afirmaciones del artículo.

En ese estudio —uno de los más extensos de su tipo—, el estudiante de doctorado Seungone Kim de la Universidad Carnegie Mellon y sus colegas recopilaron las versiones preliminares de 82 artículos publicados en revistas de la familia Nature , así como las revisiones escritas por humanos de esos manuscritos, que algunas revistas han comenzado a publicar junto con la versión final. Utilizaron tres populares modelos de aprendizaje automático (versiones de GPT de OpenAI, Claude de Anthropic y Gemini de Google) para realizar revisiones estructuradas de las versiones preliminares. Posteriormente, el equipo solicitó a 45 científicos que calificaran si cada una de las 3000 críticas individuales en las revisiones de IA era correcta, estaba basada en evidencia y era significativa —es decir, si podía mejorar sustancialmente el artículo— e identificaran la mejor revisión humana para cada artículo.

En todos los artículos, GPT obtuvo mejores resultados que el revisor humano mejor calificado en una evaluación compuesta de los tres criterios, y los tres modelos LLM obtuvieron mejores resultados que el revisor humano peor calificado . Aproximadamente una cuarta parte de las críticas a la IA no fueron detectadas por ningún revisor humano y no eran triviales, según informaron los autores. (Las IA también fallaron en algunas áreas clave; véase «Dónde fallan las revisiones de IA» ).

Algunos autores están empezando a tener acceso a herramientas de revisión diseñadas para manuscritos científicos y afirman que les resultan útiles para mejorar sus borradores antes de enviarlos. Este año, tres congresos de informática ofrecieron a los autores la oportunidad de usar la herramienta Paper Assistant de Google, basada en Gemini, que inspecciona metodologías, cálculos y demostraciones. Según investigadores de Google, entre los 1068 autores que la utilizaron para prepararse para la Conferencia sobre Sistemas de Procesamiento de Información Neuronal (NeurIPS), el 86 % afirmó que les resultó muy o bastante útil.

Para disipar las preocupaciones de que partes de manuscritos inéditos procesados ​​por IA pudieran usarse para entrenar a un LLM o hacerse públicos, la herramienta Paper Assistant y otros servicios de evaluación de manuscritos prometen mantener el manuscrito subido en un repositorio privado sin conexión a internet. NeurIPS afirma que no mostró las revisiones de IA a los evaluadores de la conferencia.

En los últimos meses, el servidor de preimpresiones bioRxiv también comenzó a ofrecer a los autores la opción de enviar sus manuscritos a varios sistemas de revisión técnica basados ​​en IA. Las revisiones se mantienen confidenciales para los autores, quienes pueden decidir si revisan el manuscrito antes de su publicación. Algunos usuarios reportan experiencias positivas, por ejemplo, con un sistema de revisión llamado qed Science. «Tuve una experiencia más rigurosa, atenta, constructiva y útil con qed que con muchos de mis revisores pares en mis más de 35 años publicando artículos», afirma Michael Levin, biólogo del desarrollo y bioingeniero de la Universidad de Tufts, quien utilizó el servicio el año pasado.

Aunque el estudio de Kim reveló las ventajas de la revisión por IA, también puso de manifiesto sus limitaciones. Por ejemplo, los modelos de aprendizaje automático (MLA) obtuvieron peores resultados que los revisores humanos en cuanto a la precisión de sus evaluaciones. Uno de ellos criticó un artículo por no corregir un sesgo conocido en los datos sobre la contaminación atmosférica en China, a pesar de que el estudio sí lo había hecho. El equipo de Kim atribuyó el error a una limitación conocida de los MLA: las restricciones en su memoria de trabajo pueden hacer que pasen por alto detalles relevantes, especialmente cuando estos se encuentran distribuidos en varias secciones de un artículo y en los materiales complementarios.

Los LLM también demostraron un conocimiento limitado de las convenciones metodológicas utilizadas en ciertas subdisciplinas. Por ejemplo, otro revisor de IA criticó un artículo de física de partículas elaborado por un equipo que utilizaba el Gran Colisionador de Hadrones porque no proporcionaba suficientes detalles sobre el análisis de datos empleado, lo que limitaba la reproducibilidad del estudio. Sin embargo, dichos detalles se almacenan habitualmente de forma centralizada en el laboratorio principal del colisionador, el CERN, una convención de la física de partículas que la IA no comprendía, según señaló un revisor humano.

En resumen, Kim y sus colegas escriben: «Los revisores de IA podrían complementar, pero no deberían reemplazar, a los revisores humanos. … Los revisores de IA y los revisores humanos coinciden en qué partes de un artículo merecen revisión, pero difieren en cómo caracterizan sus hallazgos, lo que significa que un panel de IA no es un sustituto directo de un panel humano».

Las revisiones de IA también pueden hacer solicitudes irrazonables de resultados adicionales. Cuando Ley analizó uno de sus manuscritos publicados con qed Science, la IA sugirió agregar detalles que habrían requerido estudios de seguimiento que habrían consumido mucho tiempo y que no eran necesarios para establecer la idea principal del artículo, explica. «Supuso cosas que sabemos que serían el siguiente paso, el siguiente artículo», dice, pero «llevarían una cantidad de tiempo ridícula… Ahí es donde entra en juego el criterio humano».

Algunos científicos añaden que las revisiones de IA son prolijas y tienden a centrarse en problemas menores sin destacar los problemas de mayor prioridad. Yoshitomo Matsubara, investigador de la empresa tecnológica Yahoo, describió una revisión escrita por IA que vio como parte de un programa piloto para la reunión anual de este año de la Asociación para el Avance de la Inteligencia Artificial (AAAI), que probó el uso de IA para evaluar las ponencias presentadas a la conferencia ( véase «Conferencias y revistas están tanteando el terreno» ). La revisión estaba dividida en tres secciones con 34 puntos, que sumaban un total de 14 000 caracteres; su propia revisión del mismo artículo tenía solo 4000. «La revisión de IA es demasiado larga y los puntos no están bien conectados», dice Matsubara. «Es demasiada información». Y consideró que el resumen generado por la IA era superficial.

Las máquinas también pueden reflejar sesgos inherentes al vasto corpus de texto con el que se entrenaron los modelos de aprendizaje automático (MLA), como la preferencia por trabajos de autores de instituciones de alto prestigio. En un experimento, los investigadores pidieron a un MLA que evaluara múltiples versiones de artículos publicados en las Actas de la Academia Nacional de Ciencias , idénticas excepto por el nombre y la afiliación del autor principal, que el equipo modificó. El MLA fue más propenso a recomendar el rechazo de artículos de autores de instituciones de menor prestigio que de aquellos de instituciones prominentes, según informó el grupo liderado por el científico social computacional Anthony Howell de la Universidad Estatal de Arizona en una preimpresión de arXiv de 2025.

Además, los revisores de IA tienen dificultades para evaluar resultados en campos nuevos o subdisciplinas específicas donde existen pocos estudios previos que sirvan de base para sus juicios. Como reflejo de la tendencia de la IA a la adulación, varios estudios han demostrado que las máquinas tienden a otorgar puntuaciones a los manuscritos que, en promedio, son más altas que las de los revisores humanos. La investigación de Baumann ha revelado que se puede engañar a los revisores de IA para que asignen una puntuación más alta a un artículo si los autores le indican explícitamente a un LLM que lo reescriba con ese propósito, una táctica que él denomina "lavado de artículos".

En definitiva, el uso de la IA podría no ahorrar tiempo a los revisores . Un grupo de investigación pidió a 24 científicos que revisaran dos artículos publicados similares, seleccionados por el grupo; se les indicó que utilizaran la asistencia de la IA solo para una de las dos revisiones. Al usar la IA, los revisores dedicaron menos tiempo a tareas como la consulta de bibliografía relevante, pero esto se vio contrarrestado por la necesidad de comprobar la exactitud de las sugerencias de la IA, según una presentación en una conferencia el año pasado a cargo de un equipo del University College London (UCL). El tiempo neto ahorrado, unos pocos minutos en una revisión de una hora, no fue estadísticamente significativo.

Dadas las limitaciones de la IA, los humanos deben resistir su atractivo, afirma Duncan Brumby, miembro del equipo de investigación del estudio sobre la interacción entre humanos y computadoras. «Cuanto más fluida y natural sea la respuesta de la IA, más fácil será aceptar una reseña que parezca bien fundamentada sin haber realizado el trabajo intelectual correspondiente».

Incluso en medio de la incertidumbre que rodea las revisiones de IA y la falta de estándares para su uso , algunos editores de revistas y congresos están dando sus primeros pasos en la experimentación en el mundo real. Cuando Joydeep Biswas, investigador en robótica de la Universidad de Texas en Austin, y sus colegas organizaban la reunión anual de la AAAI, les preocupaba el rápido aumento de las presentaciones y la carga de trabajo de los revisores. Dado el tema del congreso, sintieron la responsabilidad y la oportunidad de estudiar este "problema sociotécnico" y si la IA podría ayudar a aliviar la carga, dice Biswas. Sin embargo, lograr el acuerdo para realizar el proyecto piloto no fue fácil. "He formado parte del consejo ejecutivo durante algunos años y nunca había tenido una discusión tan polémica y que consumiera tanto tiempo", afirma.

Decidieron que su objetivo sería probar y recopilar datos sobre la eficacia de la IA en esta tarea, incluyendo una amplia participación humana y limitando la influencia de las revisiones de la IA en la decisión final de aceptar o rechazar cada trabajo. Asignaron un equipo de másteres en Derecho (LLM) para procesar los 30 000 trabajos recibidos, el doble que en la conferencia del año anterior. Los autores recibieron una revisión generada por IA, además de al menos dos revisiones humanas. Estas últimas fueron las únicas que incluyeron puntuaciones numéricas y recomendaciones sobre la aceptación del trabajo, y se redactaron sin consultar la evaluación de la IA. Posteriormente, los autores redactaron sus réplicas para fundamentar las decisiones finales de los jueces humanos de la conferencia.

En una encuesta a participantes, la mayoría de casi 6000 autores, revisores y jueces dijeron que preferían las revisiones escritas por IA a las humanas en seis de las nueve dimensiones de calidad , como si una revisión era exhaustiva y sugería mejoras útiles al diseño de la investigación. Aun así, los autores prefirieron las revisiones humanas a las de IA en algunas categorías importantes, incluyendo si la revisión contenía errores técnicos y hacía demasiado hincapié en problemas menores. Los autores tendieron a ver las revisiones de IA con mejores ojos que los revisores y jueces. Una sola revisión de IA "no puede satisfacer a los tres públicos", dice Biswas. Los autores están deseosos de mejorar su artículo, mientras que los jueces necesitan una síntesis general sobre si hace una contribución original al campo, lo que a menudo requiere una intuición que solo un humano puede proporcionar. "Salí de allí apreciando plenamente la importancia de la experiencia humana", dice.

«Creo que existe una manera de combinar la intervención humana con herramientas para que cada persona pueda revisar un mayor número de artículos, optimizar su tiempo y garantizar que cada artículo reciba la atención necesaria», añade Biswas. Explica que la AAAI planea repetir el programa piloto para su reunión de 2027, pero no tiene previsto rechazar artículos basándose únicamente en las revisiones de IA, una medida que, según prevé, generaría una fuerte oposición entre los asistentes.

Los organizadores de otra reunión sobre aprendizaje automático, la Conferencia Internacional de Representaciones de Aprendizaje de 2025, realizaron una prueba para comprobar si los modelos de aprendizaje automático (MLA) podían mejorar las revisiones, basándose en el análisis del MLA del manuscrito enviado y una revisión redactada por un humano. Tras recibir la retroalimentación de la IA, el 27 % de los revisores humanos actualizaron sus críticas , haciéndolas más largas en promedio, y casi todos incluyeron al menos un punto de las sugerencias de la IA. Un panel independiente de evaluadores humanos consideró que dos tercios de estas revisiones revisadas, informadas por la IA, eran mejores que las originales. «Nos sorprendió gratamente la cantidad de revisores que incorporaron la retroalimentación de la IA, porque sabemos lo ocupados que están los revisores», afirma Zou, autor principal de un artículo publicado en febrero en Nature Machine Intelligence que describe el experimento.

Pero cuando el equipo de la UCL entrevistó a los revisores en la misma conferencia, encontraron opiniones encontradas. Algunos consideraron que las críticas a la IA eran redundantes , o incluso condescendientes, porque sugerían añadir detalles excesivos, según el estudio. «Probablemente confío más en mi propia revisión que en otra cosa [la IA]», dijo uno de ellos a los investigadores.

En el ámbito editorial, NEJM AI , filial de The New England Journal of Medicine centrada en el uso de la IA en medicina, inició el año pasado un programa piloto que ofrece un proceso acelerado: una decisión de aceptación o rechazo en 7 días basada en una combinación de análisis de IA y revisión por parte de sus editores humanos. Este proceso solo se ofrece a artículos que, según los editores, tendrían una alta probabilidad de ser aceptados por la vía convencional. En lugar de enviar el artículo a revisión externa por pares, un editor realiza una revisión completa sin la ayuda de la IA, y otros editores debaten las revisiones humanas y de IA antes de decidir si publican el artículo.

Desde que la revista publicó los dos primeros artículos a través de esta sección en noviembre de 2025, la calidad del análisis de IA ha ido mejorando, al igual que la confianza de autores y editores, afirma Arjun Manrai, editor adjunto sénior de la Facultad de Medicina de Harvard, quien estudia informática biomédica. Según Manrai, la IA ha sido especialmente útil para detectar problemas metodológicos y mejorar la claridad de los artículos. Sin embargo, «seguimos verificando las afirmaciones que hacen y contrastándolas con el texto original; nuestro enfoque sigue siendo confiar, pero verificar».

«Es casi seguro que la IA tendrá un papel más importante [en las revisiones de NEJM AI ] en el futuro», afirma Manrai. «No hace mucho tiempo, habría sido inimaginable que una de las principales revistas médicas de IA utilizara la IA en la revisión por pares. Creo que las normas están cambiando».

La iniciativa de Science sobre la inteligencia artificial en la ciencia cuenta con el apoyo de Ray Rothrock y su familia.

doi: 10.1126/science.z6vx92p

__________________

Una versión de este artículo apareció en Science, vol. 393, número 6815 03/09/2026

Autor: Jeffrey Brainard es reportero de Science en Washington, D.C., donde cubre temas como publicación científica, ciencia abierta, revisión por pares, la ciencia de la ciencia y otros. Se le puede contactar en Signal como jbrainard.19 y en Bluesky como @jeffreybrainard.bsky.social.