Revisores con copiloto: el experimento de NeurIPS
NeurIPS, una de las conferencias más importantes del mundo en inteligencia artificial, va a experimentar con IA en su propio proceso de revisión de trabajos científicos. Para su edición 2026, que se realiza en diciembre en Sídney, un grupo de revisores voluntarios será asignado al azar a distintos niveles de asistencia de inteligencia artificial mientras evalúan los papers que otros investigadores enviaron a la conferencia. El objetivo es medir, con datos concretos, si la IA mejora o empeora la calidad de una revisión científica, algo que hasta ahora casi nadie se había animado a estudiar de forma controlada.
¿Cómo funciona el experimento?
Cada artículo y cada revisor que participan lo hacen de forma voluntaria. Los autores deciden, al enviar su trabajo, si quieren que forme parte del experimento; si no lo hacen, tampoco podrán participar como revisores. Una vez armadas las asignaciones, un sistema aleatorio reparte a cada revisor, para cada paper que le toca evaluar, una de tres condiciones posibles: revisión sin ninguna asistencia, asistencia abierta (el revisor conversa libremente con un asistente de IA integrado en la plataforma OpenReview) o asistencia estructurada (el mismo asistente, pero programado para ofrecer ayuda puntual según las características de cada artículo).
Al final del proceso, los responsables de área, es decir, los investigadores que supervisan un conjunto de revisiones, van a evaluar la calidad de cada una sin saber bajo qué condición fue escrita. En investigación, esto se llama diseño ciego, y sirve para que el resultado no esté contaminado por lo que el evaluador espera encontrar. El protocolo fue revisado por la Junta de Revisión Institucional (IRB) de la Universidad de Texas en Austin, el organismo que en Estados Unidos controla que una investigación con personas cumpla estándares éticos, y los proveedores de IA involucrados no van a almacenar ni registrar ninguna de las conversaciones.
El contexto: revisores desbordados y trampas para cazar tramposos
Este experimento no aparece de la nada. Las conferencias de inteligencia artificial vienen creciendo a un ritmo que satura a los revisores. Por ejemplo, NeurIPS recibió casi 22.000 papers en 2025, y cada uno necesita varias revisiones humanas. Frente a esa sobrecarga, cada vez más revisores recurren a la IA por su cuenta, aunque las reglas no lo permitan.
En noviembre de 2025 esto quedó documentado con números concretos: la empresa Pangram Labs analizó cerca de 76.000 revisiones enviadas a otra conferencia de aprendizaje automático, ICLR, y encontró que un 21% habían sido escritas íntegramente por IA (Naddaf, 2025; Pangram, 2025). La respuesta de varias conferencias fue defensiva: para la edición 2026, tanto ICML como el propio NeurIPS escondieron instrucciones invisibles dentro de los PDF de los papers, pensadas para que, si un revisor le pasaba el texto a un chatbot, este metiera frases delatoras dentro de la revisión sin que el revisor se diera cuenta. La estrategia funcionó. ICML rechazó de plano cerca de 500 papers por este motivo, pero también generó polémica: varios investigadores la calificaron como una forma de tratar a los revisores como sospechosos antes de tiempo (Chawla, 2026).
El experimento de NeurIPS que describimos más arriba es, en ese sentido, una apuesta distinta: en lugar de perseguir a quien usa IA a escondidas, se trata de ofrecerla de forma abierta y controlada a quien quiera participar, para entender qué efecto tiene realmente.
Por qué importa más allá de la informática
Aunque el experimento nació en el campo de la informática, su resultado le va a interesar a cualquier disciplina que dependa de la revisión por pares para publicar, es decir, a toda la ciencia. Si la asistencia de IA mejora la calidad de las revisiones sin reemplazar el criterio humano, podría convertirse en una herramienta más para investigadores sobrecargados. Si no lo hace, o si introduce sesgos nuevos, esos mismos datos van a servir para frenar una adopción apresurada.
Hay, además, un paralelo con algo que se discute puertas adentro de las universidades: cómo evaluar de forma justa cuando la IA está al alcance de todos. Así como una cátedra se pregunta si un estudiante que usó IA en un trabajo demostró lo que aprendió, la comunidad científica se pregunta si un revisor que usó IA hizo, igual, su trabajo de evaluar. El experimento de NeurIPS es, quizás, el intento más riguroso hasta ahora de responder esa pregunta con evidencia en lugar de con sospechas.
Los resultados todavía no están disponibles: se van a conocer recién después de que termine el proceso de revisión, hacia fin de año. ¿Vale la pena abrir la puerta a la IA en la evaluación científica, o el riesgo de perder criterio humano es demasiado alto?
Referencias
Chawla, D. S. (2026, 6 de julio). A trap for AI use in peer reviews sparks controversy. The Scientist. https://www.the-scientist.com/a-trap-for-ai-use-in-peer-reviews-sparks-controversy-74702
Naddaf, M. (2025). Major AI conference flooded with peer reviews written fully by AI. Nature, 648(8093), 256–257. https://doi.org/10.1038/d41586-025-03506-6
NeurIPS. (2026). NeurIPS 2026 AI-assisted reviewing experiment. https://neurips.cc/Conferences/2026/ai-reviewing-experiment
Pangram. (2025, 18 de noviembre). Pangram predicts 21% of ICLR reviews are AI-generated [entrada de blog]. https://www.pangram.com/blog/pangram-predicts-21-of-iclr-reviews-are-ai-generated
Nota de transparencia
Este artículo fue elaborado con la asistencia de Claude (Anthropic), que buscó y verificó las fuentes citadas, entre ellas la página oficial de NeurIPS, Nature y The Scientist, y colaboró en la redacción del borrador. Hay algo particular en esta nota: habla de IA ayudando a evaluar investigación, y fue escrita, en parte, con ayuda de una IA. Nos pareció un buen recordatorio de que la pregunta de fondo: ¿qué tareas conviene delegar y cuáles no?, también nos atraviesa como equipo editorial. Se utilizó ChatGPT para la imagen.