Detectores de IA: ¿son realmente la solución que prometen ser?
En el ámbito académico y profesional, ha surgido una preocupación creciente por el uso de herramientas de inteligencia artificial generativa para escribir textos. La respuesta inmediata de muchas instituciones ha sido la adopción de detectores de IA. Pero, ¿son realmente la solución que prometen ser? La evidencia sugiere que estas herramientas no solo no son la solución, sino que su falta de fiabilidad las convierte en el origen de un problema mayor: la generación de falsos positivos y la perpetuación de sesgos académicos.
¿Cómo intentan funcionar estos detectores?
Estas herramientas intentan diferenciar la producción humana de la algorítmica basándose en que el texto de IA exhibe patrones estadísticos distinguibles. Un concepto clave es la perplejidad (perplexity), que mide la previsibilidad del texto. Un contenido artificial tiende a ser estadísticamente más probable y, por ende, menos "sorprendente". La IA, al priorizar las secuencias de palabras más comunes, a menudo produce un lenguaje que carece de la espontaneidad y variabilidad intrínseca al discurso humano (Jakesch et al., 2023).
Este análisis estructura se complementa con la variedad (burstiness), la cual evalúa la heterogeneidad en la estructura. Los textos humanos suelen alternar oraciones complejas con otras más simples, creando una dinámica natural. En cambio, los modelos de IA tienden a mantener una uniformidad en la complejidad de sus frases (Guo et al., 2023). En esencia, los detectores son clasificadores entrenados para identificar estas huellas y estimar una probabilidad de autoría algorítmica.
El grave problema de los falsos positivos
El problema es que esta teoría falla en la práctica. Un falso positivo ocurre cuando el detector etiqueta erróneamente un texto escrito 100% por un humano como si hubiera sido generado por IA. ¿Se imaginan ser acusado de plagio por un algoritmo que no entiende tu forma de escribir? Las consecuencias de esto son graves, especialmente en la educación, donde un estudiante puede ser acusado injustamente de deshonestidad académica.
Esta imprecisión es, además, discriminatoria. El sesgo está directamente ligado a los conceptos de perplejidad y variedad. Se ha demostrado que los detectores de IA castigan significativamente a los escritores no nativos de inglés. Debido a que su estructura de frases y elección de palabras pueden ser más simples o predecibles (menor perplejidad), los algoritmos los confunden con la prosa de una IA (Jeans, 2023).
Falsos negativos: la IA que se esconde a simple vista
El problema opuesto es el falso negativo cuando un texto que sí fue generado por IA pasa desapercibido. En un estudio exhaustivo sobre 14 herramientas de detección de IA, Weber-Wulff et al. (2023) determinaron que los sistemas actuales no son precisos ni fiables. El rendimiento de los detectores empeora significativamente cuando se aplican técnicas de ofuscación, como la edición manual o el parafraseo automático, lo que reduce su precisión de detección a la mitad o menos. Una simple técnica de parafraseo, ya sea humana o usando otra IA humanizadora, puede evadir por completo a los detectores más conocidos (Sadasivan et al., 2023). Entonces, ¿de qué sirve un detector si una simple instrucción de parafrasear puede anularlo por completo?
Esta situación nos sitúa en una clásica "carrera armamentista". Los modelos de IA (como GPT-4 y sus sucesores) mejoran a un ritmo exponencial, mientras que las herramientas de detección siempre van un paso por detrás, intentando analizar patrones de texto que la propia IA ya ha aprendido a evitar.
Entonces, ¿cuál es la alternativa pedagógica?
Si los detectores de IA no son fiables, ¿estamos indefensos? No necesariamente. La solución no parece ser tecnológica, sino pedagógica (como siempre ha sido, ¿no?). En lugar de gastar recursos en tratar de "pillar" a la IA, el enfoque debería estar en rediseñar las evaluaciones.
Esto puede incluir evaluaciones en clase, exámenes orales, o tareas que requieran que los estudiantes apliquen el conocimiento a contextos locales y personales muy específicos, algo que las IAs genéricas no pueden hacer bien. Se trata de evaluar el proceso de aprendizaje y el pensamiento crítico, no solo el producto final.
Como educadores y profesionales, es hora de mover la conversación más allá de la detección. Hay que debatir cómo podemos integrar la IA de forma ética, transparente y trazable en las evaluaciones, en lugar de intentar prohibirla con herramientas que sabemos que no funcionan (al menos por el momento).
Referencias
Este texto y la imagen fueron generados con la asistencia de Gemini PRO.
Prompt de la imagen:
Una ilustración conceptual vibrante y a todo color. En el centro, una lupa grande y brillante se enfoca en un documento o pantalla digital. A un lado de la lupa, una mano humana en tonos de piel realistas sostiene un bolígrafo, escribiendo con tinta azul o negra. Al otro lado, una mano robótica o de IA de colores metálicos (plata, azul eléctrico) con luces de circuitos internas, "escribe" patrones digitales en tonos verdes o azules brillantes. El área magnificada por la lupa muestra una mezcla clara de texto escrito humanamente y patrones de código binario o texto generado por IA, enfatizando la dificultad de diferenciación sin incluir texto específico. El fondo es un aula o entorno académico moderno con tonos azules y púrpuras suaves, y sutiles elementos gráficos que representan datos o redes neuronales, todo iluminado por un brillo digital. La imagen busca ser dinámica y atractiva, resaltando el contraste entre lo humano y lo artificial, y la tensión de la detección.
Guo, B., Zhang, X., Wang, Z., Jiang, M., Nie, J., Ding, Y., Yue, J., & Wu, Y. (2023). How Close is ChatGPT to Human Experts? Comparison Corpus, Evaluation, and Detection. arXiv. https://doi.org/10.48550/arXiv.2301.07597
Jakesch, M., Hancock, J. T., & Naaman, M. (2023). Human heuristics for AI-generated language are flawed. Proceedings of the National Academy of Sciences, 120(11), e2208839120. https://doi.org/10.1073/pnas.2208839120
Jeans, S. (2023, 10 de julio). Los detectores de inteligencia artificial discriminan a los hablantes de inglés no nativos, según un estudio. DailyAI. https://dailyai.com/es/2023/07/ai-detection-programs-discriminate-against-non-native-english-speakers-study-reveals/
Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-Generated Text be Reliably Detected? arXiv. https://doi.org/10.48550/arXiv.2303.11156
Weber-Wulff, D., Anohina-Naumeca, A., Bjelobaba, S., Foltýnek, T., Guerrero-Roldán, A. E., Popoola, O., Šigut, P., & Waddington, L. (2023). Testing of detection tools for AI-generated text. International Journal for Educational Integrity, 19(1). https://doi.org/10.1007/s40979-023-00146-z
Recientemente, le pedí información a un representante de la empresa líder de detección de fraude académico (sí, esa que se están imaginando). Quería saber cuál era la tasa de falsos positivos de su sistema de detección de textos generados por IA. Lo que esperaba era una estimación numérica basada en algún estudio. Su respuesta fue que «ningún sistema es 100% fiable», esquivando darme una respuesta comprometedora. Me parece mal que quieran vender una solución que falla y tiene un impacto tan negativo en la experiencia del estudiante.