La IA explicable: Abriendo la «caja negra» para construir confianza
La Inteligencia Artificial Explicable (XAI, por sus siglas en inglés) es un área en desarrollo que busca abordar la "opacidad" de los modelos de inteligencia artificial (IA), particularmente aquellos basados en técnicas de aprendizaje profundo que a menudo se consideran "cajas negras". XAI proporciona técnicas y métodos para traducir estos modelos complejos en formatos más comprensibles y transparentes, haciéndolos más accesibles para los usuarios finales y las partes interesadas, lo que es esencial en aplicaciones críticas donde la confianza y la responsabilidad son fundamentales (Arrieta et al., 2020; Hussain et al., 2021).
La transparencia como motor de confianza
Un aspecto distintivo de XAI es su capacidad para aumentar la transparencia, lo que a su vez fomenta la confianza en los sistemas de IA en una variedad de sectores como la salud, las finanzas y la seguridad (Hanif, 2021; Minh et al., 2021). A medida que el uso de IA se expande en campos sensibles, la necesidad de explicaciones claras sobre cómo se toman las decisiones por parte de estos sistemas es cada vez más relevante. En el ámbito médico, por ejemplo, la integración de explicaciones facilita la comprensión y validación de las decisiones algorítmicas sobre el estado de salud de los pacientes. Esta transparencia resulta fundamental para reforzar la responsabilidad legal y ética de los profesionales involucrados (Martino y Delmastro, 2022; Noor et al., 2025; Sheu y Pardeshi, 2022).
La explicación debe centrarse en el humano
Además, la definición de "explicabilidad" dentro de XAI se extiende más allá de simples descripciones de salidas del modelo; también implica el entendimiento del contexto y las necesidades de los usuarios para quienes se destinan las explicaciones (Arrieta et al., 2020; Kim et al., 2024).
De este modo, se propone que la explicabilidad debe ser considerada una propiedad inherente y centrada en el ser humano, lo que implica diseñar soluciones que se ajusten a cómo los usuarios interpretan y confían en las decisiones generadas por sistemas de IA (Liao y Varshney, 2021). Esto ha llevado a la creación de diversos métodos e indicadores que permiten evaluar la calidad y efectividad de las explicaciones proporcionadas por los sistemas de IA (Nauta et al., 2023). Por ejemplo, la "satisfacción de la explicación" es un indicador clave, que refleja la comprensión del usuario (Kim et al., 2024), junto con otras métricas como la similitud y la detección de sesgos (Elshawi et al., 2020). Además, la interpretabilidad se aborda mediante enfoques intrínsecos o post-hoc, con métodos populares como LIME y SHAP (Du et al., 2019; Liu y Udell, 2020). Asimismo, propuestas como la "puntuación de calidad de interpretación" (Xie et al., 2022) ayudan a establecer marcos coherentes para evaluar las explicaciones (Nauta et al., 2023). Fundamentalmente, la XAI requiere una perspectiva centrada en el usuario, alineando la evaluación con sus necesidades y capacidades para asegurar explicaciones útiles y comprensibles (Liao y Varshney, 2021; Mohseni et al., 2021).
Para finalizar, la IA explicable (XAI) representa un avance significativo hacia la creación de sistemas inteligentes que no solo ofrecen soluciones efectivas, sino que también permiten a los usuarios entender y confiar en el proceso detrás de estas soluciones. La búsqueda de explicaciones claras, adecuadas y centradas en el ser humano es fundamental para el futuro de la IA en contextos donde la transparencia y la interpretabilidad son obligatorias.
Este artículo fue generado con asistencia de Scite.ai.
La imagen fue generada con Gemini 2.5 Flash Image Nano Banana.
Prompt:
Una mano humana delicadamente abre una rendija en una caja negra brillante y futurista. Desde el interior de la caja emana una luz cálida y comprensible, revelando fragmentos de circuitos y datos. El estilo debe ser una combinación de futurismo tecnológico y realismo conceptual.
Referencias
Arrieta, A. B., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A. y Herrera, F. (2020). Explainable artificial intelligence (XAI): Concepts, taxonomies, opportunities and challenges toward responsible AI. Information Fusion, 58, 82-115. https://doi.org/10.1016/j.inffus.2019.12.012
Du, M., Liu, N. y Hu, X. (2019). Techniques for interpretable machine learning. Communications of the ACM, 63(1), 68-77. https://doi.org/10.1145/3359786
Elshawi, R., Sherif, Y., Al‐Mallah, M. y Sakr, S. (2020). Interpretability in healthcare: a comparative study of local machine learning interpretability techniques. Computational Intelligence, 37(4), 1633-1650. https://doi.org/10.1111/coin.12410
Hanif, A. (2021). Towards explainable artificial intelligence in banking and financial services. arXiv preprint arXiv:2112.08441. https://doi.org/10.48550/arxiv.2112.08441
Hussain, F., Hussain, R., y Hossain, E. (2021). Explainable artificial intelligence (XAI): An engineering perspective. arXiv preprint arXiv:2101.03613. https://doi.org/10.48550/arxiv.2101.03613
Kim, J., Maathuis, H. y Sent, D. (2024). Human-centered evaluation of explainable AI applications: A systematic review. Frontiers in Artificial Intelligence, 7. https://doi.org/10.3389/frai.2024.1456486
Liao, Q. V. y Varshney, K. R. (2021). Human-centered explainable AI (XAI): From algorithms to user experiences. arXiv preprint arXiv:2110.10790. https://doi.org/10.48550/arxiv.2110.10790
Liu, B. y Udell, M. (2020). Impact of accuracy on model interpretations. arXiv preprint arXiv:2011.09903. https://doi.org/10.48550/arxiv.2011.09903
Martino, F. D. y Delmastro, F. (2022). Explainable AI for clinical and remote health applications: A survey on tabular and time series data. Artificial Intelligence Review, 56(6), 5261-5315. https://doi.org/10.1007/s10462-022-10304-3