Distance Metric Learning for Explainability in Complex Problems

Abstract

The major technological advances of recent years have led to the generation of large amounts of data from which, if properly processed and analyzed, relevant information can be extracted for many fields such as science, business or communication. Machine learning, which is part of the process known as knowledge discovery in databases, is emerging as a discipline focused on the study of techniques that allow machines to learn from data, in the sense of recognizing patterns or drawing inferences from previously unseen data. Within machine learning, there is a set of algorithms called similarity-based learning algorithms, which are inspired by one of the most powerful mechanisms of human learning: recognizing objects based on their similarity to other previously seen objects. These algorithms require a distance or similarity measure between the data, which allows us to assess the similarity of any two samples. This distance or similarity measure is crucial for the correct functioning of these algorithms, since the quality of the results obtained depends on it. In this thesis, the distance metric learning problem is addressed. This problem consists in learning the distance or similarity measures from the data itself, so that they can be successfully used later in similarity-based learning algorithms. Specifically, this project tackles the study and development of distance metric learning algorithms and their application in novel or uncommon problems of machine learning, beyond the classic classification or regression problems. This thesis addresses the following objectives: 1. The study of distance metric learning and its algorithms from both a theoretical and an experimental point of view. To this end, the development of a software library with the highest-performing algorithms in the field is proposed, as well as a tutorial that includes a theoretical review, an experimental study and an analysis of the results of the algorithms. 2. The development of new distance metric learning algorithms for unconventional or singular problems, i.e., machine learning problems beyond the classic standards of classification or regression. To achieve this goal, three distance metric learning algorithms have been developed and proposed for the first time in this thesis, which address three different singular problems: imbalanced, ordinal and monotonic classification. 3. The development of deep metric learning models to tackle complex problems. In recent years, deep learning has revolutionized the field of machine learning, and this revolution has also reached distance metric learning. Deep metric learning proposes new models for learning distances that open up a new range of possibilities in this field. In addition, these methods have proven to be effective in some of the most challenging problems in deep learning, such as those where little data is available. In regard, this thesis includes a proposal for a deep metric learning model applied to a natural language processing problem with data scarcity. 4. The analysis of the explainability of the developed models, based on the explainable characteristics of the similarity-based learning algorithms, and on how learning a distance influences these characteristics. 5. The specialization of the developed proposals for their application in real problems. This is addressed together with the third objective in the natural language processing problem treated. This thesis project successfully addresses the above objectives and thus leaves notable contributions in the field of distance metric learning. The software library and tutorial developed here provide a solid basis for understanding the state-of-the-art in traditional distance metric learning, and a practical starting point for those who want to enter the discipline. The algorithms proposed in the second objective provide new perspectives to address less common problems in machine learning; the deep metric learning models developed in the third objective show the potential of combining deep learning and distance metric learning, and are also applied in a real case study, thus addressing the fifth objective. Finally, the explainability study proposed in the fourth objective analyzes, for one of the developed algorithms, how distance metric learning can influence the explainability of the resulting model.

Los grandes avances tecnológicos de los últimos años han traído consigo la generación de grandes cantidades de datos, de los cuales se puede extraer información relevante para numerosos campos, como la ciencia, los negocios o la comunicación, si se procesan y analizan adecuadamente. El aprendizaje automático, englobado dentro del proceso conocido como knowledge discovery in databases, surge como disciplina centrada en el estudio de técnicas que permitan que las máquinas puedan aprender a partir de los datos, en el sentido de reconocer patrones o hacer inferencia sobre datos no vistos previamente. Dentro del aprendizaje automático, hay una rama de algoritmos denominados de aprendizaje basados en semejanza, que se inspiran en uno de los mecanismos más potentes del aprendizaje humano: el reconocimiento de objetos basado en la similitud con otros objetos previamente vistos. Estos algoritmos requieren de una medida de distancia o de similitud entre los datos, que permita determinar cómo de parecidos son cualesquiera dos ejemplos de los que se disponga. Esta medida de distancia o similitud es crucial para el correcto funcionamiento de estos algoritmos, ya que de ella depende la calidad de los resultados que se obtengan. En esta tesis se aborda el problema del aprendizaje de métricas de distancia, que consiste en aprender las medidas de distancia o similitud a partir de los propios datos, de forma que puedan ser empleadas posteriormente en algoritmos de aprendizaje por semejanza de forma exitosa. En concreto, se afronta el estudio y desarrollo de algoritmos de aprendizaje de distancias y su aplicación en problemas novedosos o poco comunes del aprendizaje automático, más allá de los problemas clásicos de clasificación o regresión. Esta tesis aborda los siguientes objetivos: 1. En primer lugar, se propone abordar el estudio del aprendizaje de distancias y sus algoritmos tanto de un punto de vista teórico como experimental. Para ello, se plantea el desarrollo de una librería software con los algoritmos más destacados de la disciplina, y un tutorial que incluya una revisión teórica, un estudio experimental y un análisis de resultados de los mismos. 2. El segundo objetivo plantea el desarrollo de nuevos algoritmos de aprendizaje de distancias para problemas no convencionales o singulares, es decir, problemas del aprendizaje automático que se salen de los estándares clásicos de clasificación o regresión. Para cumplir con este objetivo, se han desarrollado tres algoritmos de aprendizaje de distancias, propuestos por primera vez en esta tesis, que abordan tres problemas singulares diferentes: clasificación desbalanceada, ordinal y monotónica. 3. El tercer objetivo se centra en el aprendizaje de distancias profundo. En los últimos años, el aprendizaje profundo ha revolucionado el campo del aprendizaje automático, y esa revolución también ha llegado al aprendizaje de distancias. El aprendizaje de distancias profundo propone nuevos modelos para aprender distancias que abren un nuevo abanico de posibilidades en este área. Además, estos métodos han demostrado ser efectivos en algunos de los problemas más desafiantes del aprendizaje profundo, como aquellos en los que se dispone de pocos datos. Esta tesis incorpora una propuesta de modelo de aprendizaje de distancias profundo aplicada a un problema de procesamiento del lenguaje natural con escasez de datos. 4. El cuarto objetivo es transversal y plantea el análisis de la explicabilidad de los modelos desarrollados, apoyándose en las características explicables de los algoritmos de aprendizaje por semejanza, y en cómo aprender una distancia influye a dichas características. 5. Por último, se plantea la especialización de las propuestas desarrolladas para su aplicación en problemas reales. Esto se aborda conjuntamente con el tercer objetivo en el problema de procesamiento del lenguaje natural tratado. La tesis aborda con éxito los objetivos enumerados, dejando así aportaciones destacables en el campo del aprendizaje de métricas de distancia. Con la librería software desarrollada y el tutorial se proporciona una base sólida para comprender el estado del arte del aprendizaje de métricas de distancia tradicional, y un punto de partida para iniciarse en la disciplina de forma práctica. Los algoritmos propuestos en el segundo objetivo proporcionan nuevas perspectivas para abordar problemas menos habituales del aprendizaje automático, y los modelos de aprendizaje de distancias profundo desarrollados en el tercer objetivo muestran el potencial de combinar aprendizaje profundo y aprendizaje de distancias, siendo aplicados además en un caso de estudio real, abordando así el quinto objetivo. Por último, el estudio de la explicabilidad propuesto en el cuarto objetivo analiza, para uno de los algoritmos desarrollados, cómo el aprendizaje de distancias puede influir en la explicabilidad del modelo resultante.