Metaheuristics for the Design of Deep Learning Models

Abstract

Artificial Intelligence (AI) is catalyzing a profound revolution across diverse industry sectors, reshaping the landscape of innovation and productivity with the development of general-purpose AI systems (GPAIS). Machine Learning (ML) is the field of AI that focuses on the study and development of algorithms that enable computers to perform tasks effectively by learning from data and improving through experience. The increasing impact of AI is notably evident in its ability to not only design novel systems but to enhance the efficiency of existing ones. ML models have greatly benefited from this revolution, as reflected in their optimization. This AI revolution has been driven by the explosion of Deep Learning (DL), which uses neural networks to learn complex patterns from data. These models have been applied to solve a wide range of problems, having a great impact on society. The constant evolution of AI and the application of new concepts to ML subfields, such as DL, has only increased its importance in recent years. In addition, the existence of AI models capable of both designing and improving other AI models facilitates the realization of new approaches. In this context, Metaheuristics (MHs) are optimization algorithms used to efficiently solve complex optimization problems, specifically when exact optimization methods become impractical due to the large search space or computational complexity of the problem. One of the families in the field of MH is the bio-inspired algorithms, which are inspired by the simulation of biological processes to create these optimization algorithms. Within bio-inspired algorithms, Evolutionary Algorithms (EAs) constitute one of the most widely used algorithms for the design and optimization of models with desirable characteristics such as robustness and reliability. The extended trajectory of EAs in the optimization of ML models provides the exploration of new mechanisms that can be applied for both the design and enhancement of these models. This thesis presents as hypothesis the customization for the design of DL models using EAs since the EAs are capable of better adapting to the problem, improving the performance, while at the same time fostering other desirable properties such as robustness, diversity, and explainability. 1. The first objective involves a study of the field of MH and, specifically, the spectrum of bio-inspired algorithms in the literature. This study provides a comprehensive taxonomy encompassing all categories of bio-inspired algorithms, integrated with a dual analysis of the biological inspiration and the underlying mathematical model. The purpose of this survey is to examine potential connections between bio-inspired concepts and their mathematical representations. Additionally, this text presents an analysis of the field’s evolution and notable proposals. It provides insight into the ongoing evolution and includes some notes about future directions. 2. The second objective involves the development of an EA to design DL models with better performance, but with fewer active neurons to overcome standard pruning methods. These methods focus on the reduction of the model but at the cost of worse results. The objective is to use EAs to design improved pruned networks by removing unnecessary neurons in a compatible way to import previous knowledge. Additionally, in this study, we conduct experiments to check whether the results are not caused by the EA’s randomness and to evaluate the models’ adaptation when new data are introduced. 3. The third objective consists of an extension of the previous study towards the design and optimization of DL models taking into account three objectives: performance, complexity, and robustness. For the sake of more interpretable DL models, an exploration of the most influential neurons and their representation in the original image is also performed. An ensemble strategy is used to enhance the performance and robustness of the DL model, by leveraging on the diversity of the initial models. 4. The fourth objective consists of an analysis of the role that Evolutionary Computation can play in the domain of GPAIS. The purpose of this work is to study the ability of EAs to design and enhance GPAIS. Moreover, this text presents how EA-based areas can be applied to fulfill the desired GPAIS properties. It also includes several examples of EAs to improve GPAIS. Lastly, it outlines the challenges of using EAs in GPAIS and the possible EA-based strategies to design or enhance GPAIS. The objectives outlined in the thesis are successfully addressed. The objective related to the literature review contributes to the innovation of the research field, opening up several research directions for the usage of these algorithms toward different scopes in AI. The following two objectives, related to the creation of EA-based models for the design and enhancement of DL models, are supported by comparative empirical studies. Building upon the premise of removing unnecessary neurons, we have successfully designed networks with improved performance and robustness, while simultaneously reducing complexity. Finally, we present the work that provides an analysis of Evolutionary Computation, particularly about EAs, within the domain of GPAIS. Specifically, this analysis focuses on the capacity of EAs to design and enhance these systems. Moreover, we align several research areas where EAs have gained a great influence to fulfill GPAIS properties and illustrate this synergy with several milestones. Also, we discuss the benefits of EAs for GPAIS and strategies based on EAs for the design and enhancement of GPAIS.

La Inteligencia Artificial (Artificial Intelligence - AI) está llevando a cabo una profunda revolución en diversos sectores industriales, remodelando el panorama de la innovación y la productividad con el desarrollo de sistemas de AI de propósito general (General- Purpose AI Systems - GPAIS). El Aprendizaje Automático (Machine Learning - ML) es el campo de la AI que se centra en el estudio y desarrollo de algoritmos que permiten a los ordenadores realizar tareas eficazmente aprendiendo de los datos y mejorando a través de la experiencia. La creciente repercusión de la AI se hace patente, no solamente en su capacidad para diseñar sistemas novedosos, sino también para mejorar la eficacia de los ya existentes. Los modelos de ML se han beneficiado enormemente de esta revolución gracias a su optimización. Esta revolución de la AI se ha visto impulsada por la explosión del Aprendizaje Profundo (Deep Learning - DL), que utiliza redes neuronales para aprender patrones complejos a partir de datos. Estos modelos se han aplicado para resolver una amplia gama de problemas, teniendo un gran impacto en la sociedad. La constante evolución de la AI y la aplicación de nuevos conceptos a subcampos del ML, como el DL, no ha hecho más que aumentar su importancia en los últimos años. Además, la existencia de modelos de AI capaces tanto de diseñar como de mejorar otros modelos de AI facilita la realización de nuevos enfoques. En este contexto, las metaheurísticas (Metaheuristics - MHs) son algoritmos de optimización que se utilizan para resolver de forma eficiente problemas complejos de optimización, concretamente cuando los métodos de optimización exactos resultan poco prácticos debido al gran espacio de búsqueda o a la complejidad computacional del problema. Una de las familias del campo de las MH son los algoritmos bioinspirados, que se basan en la simulación de procesos biológicos para crear estos algoritmos de optimización. Dentro de los algoritmos bioinspirados, los Algoritmos Evolutivos (Evolutionary Algorithms - EAs) constituyen uno de los algoritmos más utilizados para el diseño y optimización de modelos con características deseables como robustez y fiabilidad. La trayectoria extendida de los EAs en la optimización de modelos de ML proporciona la exploración de nuevos mecanismos que pueden ser aplicados tanto para el diseño como para la mejora de estos modelos. Esta tesis presenta como hipótesis la adaptación en el diseño de modelos de DL utilizando EAs, puesto que los EAs son capaces de adaptarse mejor al problema, mejorando el rendimiento, a la vez que fomentan otras propiedades deseables como la robustez, la diversidad y la explicabilidad. Esta tesis aborda los siguientes objetivos: 1. El primer objetivo consiste en un estudio del campo de las MH y, en concreto, del conjunto de algoritmos bioinspirados existentes en la literatura. Este estudio proporciona una taxonomía completa que abarca todas las categorías de algoritmos bioinspirados, integrada con un análisis dual tanto de la inspiración biológica como del modelo matemático subyacente. El propósito de este estudio es examinar las posibles conexiones entre los conceptos bioinspirados y sus representaciones matemáticas. Además, este texto presenta un análisis de la evolución del campo y propuestas notables. Se ofrece una visión de la evolución del campo a lo largo de estos últimos años e incluye algunas anotaciones sobre líneas de trabajo futuro. 2. El segundo objetivo implica el desarrollo de un EA para diseñar modelos de DL con mejores resultados, utilizando menos neuronas activas para superar los métodos de poda estándar. Estos métodos se centran en la reducción del modelo a costa de ofrecer peores resultados. El objetivo es utilizar los EAs para diseñar redes podadas mejoradas eliminando neuronas innecesarias de forma compatible para importar conocimiento previo. Además, en este estudio realizamos experimentos para confirmar que los resultados no se deben a la aleatoriedad del EA y también para evaluar la adaptación de los modelos conforme se introducen nuevos datos. 3. El tercer objetivo consiste en una extensión del estudio anterior hacia el diseño y optimización de modelos de DL teniendo en cuenta tres objetivos: rendimiento, complejidad y robustez. Además, con el objetivo de conseguir modelos de DL más interpretables, también se realiza una exploración de las neuronas más influyentes y su representación en la imagen original. Se utiliza una estrategia de ensemble para mejorar el rendimiento y la robustez del modelo DL, aprovechando la diversidad de los modelos iniciales. 4. El cuarto objetivo consiste en un análisis sobre el papel que la Computación Evolutiva puede jugar en el dominio de GPAIS. El propósito de este trabajo es estudiar la capacidad de los EAs para el diseño y mejora de los GPAIS. Además, este texto presenta cómo ciertas áreas basadas en EAs se pueden aplicar para satisfacer las propiedades deseadas de los GPAIS. También se incluyen varios ejemplos de EAs que mejoran GPAIS. Por último, se esbozan los retos que plantea el uso de los EAs en GPAIS y las posibles estrategias basadas en los EAs para diseñar o mejorar los GPAIS. La tesis aborda los diferentes objetivos descritos de manera exitosa. El objetivo relacionado con el estudio de la literatura aporta innovación al campo de investigación, mejorando la literatura ya existente al mismo tiempo que abre diferentes líneas de investigación futuras en diferentes ámbitos de la AI. Los siguientes dos objetivos, relacionados con la creación de modelos basados en los EAs para el diseño y mejora de modelos de DL, están respaldados por estudios empíricos comparativos. Partiendo de la premisa de eliminar las neuronas innecesarias, hemos diseñado con éxito redes mejoradas en rendimiento y robustez, reduciendo al mismo tiempo la complejidad. Por último, presentamos el trabajo que proporciona el análisis de la Computación Evolutiva, en particular sobre los EAs, dentro del dominio de los GPAIS. En concreto, se centra en la capacidad de los EAs para diseñar y mejorar estos sistemas. Además, alineamos varias áreas de investigación en las que los EAs han adquirido una gran influencia para las propiedades de los GPAIS e ilustramos esta sinergia con varios hitos. Asimismo, proponemos los beneficios de los EAs para los GPAIS y las estrategias basadas en estos algoritmos para el diseño y la mejora de los GPAIS.