Inteligencia Artificial Explicable: Métodos para generación, evaluación y corrección de explicaciones

Abstract

El avance del aprendizaje automático y la Inteligencia Artificial (Artificial Intelligence, IA) ha transformado numerosos sectores, desde la medicina hasta la seguridad pública, gracias a su capacidad para resolver problemas complejos y optimizar tareas críticas. Sin embargo, a medida que los modelos de IA se vuelven más sofisticados, también aumentan los desafíos relacionados con su transparencia, confianza y seguridad. Estos desafíos son especialmente relevantes en entornos donde una decisión incorrecta puede tener consecuencias graves para la vida de las personas. En este contexto, aparece la XAI y la detección de ejemplos OoD emergen como áreas clave para garantizar que los sistemas de IA sean confiables, seguros y éticamente responsables. A pesar de los avances en XAI, todavía existen importantes limitaciones en la evaluación de explicaciones, la generación de conocimiento explicable y la detección de ejemplos OoD. Por un lado, la falta de un marco teórico sólido dificulta la comparación y certificación de la calidad de las explicaciones generadas por los modelos. Por otro lado, los métodos actuales para introducir conocimiento explicable en los modelos suelen depender de etiquetados humanos costosos y poco escalables. Finalmente, los algoritmos de detección de ejemplos OoD carecen de puntuaciones rigurosas de confianza y explicabilidad, lo que limita su utilidad en entornos críticos. En esta tesis, se abordan estos desafíos mediante tres propuestas principales:

Evaluación robusta y vectorizada de Explicaciones Locales Lineales (REVEL): Se propone un marco teórico para evaluar la calidad de las explicaciones generadas por los modelos de IA. Este marco incluye medidas matemáticamente robustas que permiten analizar aspectos cualitativos clave de las explicaciones, como su rubustez, su concisión y su capacidad prescriptiva. Además, REVEL proporciona herramientas analíticas que facilitan la comparación entre diferentes estrategias de generación de explicaciones, contribuyendo a la estandarización en el campo de XAI. Transformación XAI selectiva para ocultar dinámicamente parte de la entrada para mejorar el entrenamiento (X-SHIELD): Se desarrolla una familia de regularizaciones que introducen conocimiento explicable en los modelos de IA sin necesidad de etiquetado humano. Estas regularizaciones permiten mejorar la calidad del modelo a la par que la de sus explicaciones, reduciendo la dependencia de explicaciones etiquetadas. X-SHIELD también fomenta la generación de explicaciones de mayor calidad, lo que facilita su adopción en entornos críticos. Test estadístico para la detección de ejemplos OoD mejorado con eXplicabilidad (STOOD-X): Se diseña una metodología en dos pasos que combina la detección de ejemplos OoD con explicabilidad específica para estos algoritmos. STOOD-X utiliza puntuaciones rigurosas de confianza para identificar ejemplos OoD y proporciona explicaciones detalladas que ayudan a los usuarios a comprender las decisiones del algoritmo. Esto no solo mejoraría la seguridad de los sistemas de IA, sino que también aumentaría la confianza de los usuarios en su funcionamiento. Los resultados obtenidos en esta tesis evidencian la efectividad de las propuestas. Por un lado, REVEL nos ha permitido evaluar explicaciones de manera robusta, detectando aspectos cualitativos clave no capturados por otras medidas existentes. Por otro lado, X-SHIELD mejora tanto la calidad del modelo donde se ha aplicado como la de las explicaciones generadas, reduciendo la necesidad de etiquetado humano y aumentando la calidad de las explicaciones ofrecidas por el modelo. Finalmente, STOOD-X logra una detección más precisa de ejemplos OoD y proporciona explicaciones útiles que facilitan la toma de decisiones en entornos críticos. En conjunto, y más allá de los resultados de las propuestas técnicas, esta tesis contribuye al desarrollo de sistemas de IA más confiables y seguros, proporcionando herramientas teóricas y prácticas que abordan los principales desafíos en XAI y detección de ejemplos OoD. Estas propuestas no solo mejoran la calidad y seguridad de los sistemas de IA, sino que también facilitan su integración en entornos críticos, promoviendo su adopción responsable y ética en la sociedad.

The advancement of machine learning and Artificial Intelligence (AI) has transformed numerous sectors, from medicine to public safety, thanks to its ability to solve complex problems and optimize critical tasks. However, as AI models become more sophisticated, challenges related to their transparency, trust, and safety also increase. These challenges are especially relevant in critical environments, where an incorrect decision can have severe consequences for humans. In this context, eXplainable AI (XAI) and Out-of-Distribution (OoD) detection emerge as key areas to ensure that AI systems are reliable, safe, and ethically responsible. Despite advances in XAI, there are still significant limitations in the evaluation of explanations, the generation of explainable knowledge, and the detection of OoD examples. On the one hand, the lack of a solid theoretical framework makes it difficult to compare and certify the quality of explanations generated by models. On the other hand, current methods for introducing explainable knowledge into models often rely on costly and non-scalable human labeling. Finally, OoD detection algorithms lack rigorous confidence scores and explainability, limiting their usefulness in critical environments. This thesis addresses these challenges through three main proposals: 1. Robust Evaluation VEctorized Loca-linear-explanation (REVEL): A theoretical framework is proposed to evaluate the quality of explanations generated by AI models. This framework includes mathematically robust measures that allow the analysis of key qualitative aspects of explanations, such as robustness, conciseness, and prescriptiv. Additionally, REVEL provides analytical tools that facilitate the comparison of different explanation generation strategies, contributing to standardization in the field of XAI. 2. eXpolainable-Selective Hidden Input Evaluation for Learning Dynamics (XSHIELD): A family of regularizations is developed to introduce explainable knowledge into AI models without the need for human labeling. These regularizations improve both the quality of the model and its explanations, reducing the dependency on labeled explanations. X-SHIELD also promotes the generation of higher-quality explanations, facilitating its adoption in critical environments. 3. Statistical Test for OOD detection enhanced with eXplainability (STOOD-X): A two-step methodology is designed that combines OoD detection with specific explainability for these algorithms. STOOD-X uses rigorous confidence scores to identify out-of-distribution examples and provides detailed explanations that help users understand the model’s decisions. This not only improves the safety of AI systems but also increases user trust in their operation. The results obtained in this thesis demonstrate the effectiveness of the proposals. On the one hand, REVEL enables robust evaluation of explanations, detecting key qualitative aspects not captured by other existing measures. On the other hand, XSHIELD improves both the quality of the model and the explanations generated, reducing the need for human labeling and increasing the interpretability of the results. Finally, STOOD-X achieves more accurate detection of OoD examples and provides useful explanations that facilitate decision-making in critical environments. Overall, and beyond the results of the technical proposals, this thesis contributes to the development of more reliable and safer AI systems by providing theoretical and practical tools that address the main challenges in XAI and OoD detection. These proposals improve the quality and safety of AI systems while facilitate their integration into critical environments, promoting their responsible and ethical adoption in society.