Action Learning in an Integrated Model of Basal Ganglia and its Application in Control Systems González-Redondo, Alvaro Ros Vidal, Eduardo Garrido Alcázar, Jesús Alberto Universidad de Granada. Programa de Doctorado en Tecnologías de la Información y la Comunicación Basal ganglia Dopamine Reinforcement learning Spiking neural network Striatum Sistema nervioso Ganglios basales Modelos de redes neuronales Enfermedad de Huntington Neurociencia computacional Esta tesis está motivada por la necesidad de comprender las complejas funcionalidades del sistema nervioso, específicamente los ganglios basales (GB), debido a su importante papel en trastornos neurológicos y procesos de comportamiento. Los enfoques experimentales tradicionales no han logrado explicar satisfactoriamente cómo las estructuras cerebrales contribuyen a comportamientos complejos, lo cual hace necesaria la adopción de enfoques alternativos como el modelado computacional. Esta tesis tiene como objetivo llenar este vacío mediante el uso de modelos computacionales inspirados biológicamente, centrados principalmente en redes neuronales de impulsos (SNNs), para simular los ganglios basales. La simulación se enfoca en entender el papel de los ganglios basales en la selección de acciones y la influencia de neuromoduladores, particularmente la dopamina y la acetilcolina, en el aprendizaje y la toma de decisiones. El objetivo final es vincular e integrar perspectivas de la neurociencia con agentes corpóreos, aplicando el conocimiento de los procesos de aprendizaje motor dentro de los ganglios basales al desarrollo de selección de acciones en sistemas de control. Esta tesis presenta varias contribuciones al campo de la neurociencia computacional, centrándose en modelos de los ganglios basales. En primer lugar, introduce un modelo computacional para esclarecer la paradójica mejora sensorial observada en pacientes con enfermedad de Huntington, sugiriendo que los niveles de dopamina y las etapas tempranas de la afección pueden desempeñar un papel significativo. En segundo lugar, realiza un examen exhaustivo de la optimización de modelos neuronales de spikes del estriado para la plasticidad, destacando la efectividad de los algoritmos de optimización automática en el ajuste de modelos. En tercer lugar, construye un modelo de red biológicamente inspirado del estriado, integrando características como la plasticidad dependiente del tiempo de disparo, mecanismos homeostáticos y conexiones inhibitorias laterales, capaz de reconocer patrones complejos y elegir acciones recompensadas. Además, desarrolla un modelo funcional de estriosoma para el error de predicción de recompensa (RPE) en los ganglios basales. Finalmente, refina un modelo existente de aprendizaje por refuerzo en el estriado incorporando la acetilcolina como retroalimentación de la población local, lo que demuestra habilidad en el reconocimiento de patrones y selección de acciones, a la vez que ofrece ideas sobre los mecanismos de aprendizaje del cerebro y el papel de los neuromoduladores. La investigación presentada en esta tesis ha explorado los mecanismos neuronales involucrados en la selección de acciones, el aprendizaje y la toma de decisiones, con un enfoque particular en el estriado y los ganglios basales. A través de modelos computacionales y metodologías novedosas, este trabajo ha contribuido a una mejor comprensión de cómo las poblaciones neuronales y los neuromoduladores interactúan dentro de los ganglios basales. Si bien los conocimientos adquiridos son prometedores, el estudio reconoce ciertas limitaciones, en particular, la sensibilidad de la dinámica interna del modelo a la forma de representación de la entrada. Se alienta a investigaciones futuras a validar y ampliar estos hallazgos, y explorar factores biológicos adicionales, como el bucle ganglios basales-corteza y el papel de las interneuronas. Además, se sugiere el empleo de plataformas de computación de alto rendimiento y el desarrollo de nuevas técnicas de optimización como vías para refinar aún más estos modelos. Esto podría tener aplicaciones prácticas, como avanzar en el conocimiento sobre trastornos neurológicos como la enfermedad de Huntington y fomentar el desarrollo de agentes de refuerzo bioinspirados. This thesis is motivated by the need to comprehend the complex functionalities of the nervous system, specifically the basal ganglia (BG), due to its significant role in neurological disorders and behavioral processes. Traditional experimental approaches have fallen short in explaining the contributions of brain structures to intricate behaviors, thus necessitating alternative approaches like computational modeling. This thesis aims to bridge this gap by employing biologically-inspired computational models, with a focus on spiking neural networks (SNNs) due to their ability to emulate the temporal dynamics of biological neurons, to simulate the basal ganglia. The simulation aims to understand the basal ganglia's role in action selection and the influence of neuromodulators, particularly dopamine and acetylcholine, on learning and decision-making. The ultimate objective is to link and integrate insights from neuroscience to embodied agents, by applying the knowledge of motor learning processes within the basal ganglia to the development of action selection in control systems. ¶ ¶ This thesis presents several contributions to the field of computational neuroscience, focusing on models of the basal ganglia. First, it introduces a computational model to elucidate the paradoxical sensorial improvement observed in patients with Huntington's disease, suggesting that both dopamine levels and the early stage of affliction may independently play significant roles. Secondly, it undertakes a thorough examination of methods for tuning spiking neural models of striatum plasticity, highlighting the effectiveness of automatic optimization algorithms in calibrating the models. Third, it constructs a biologically-inspired network model of the striatum integrating features such as spike-timing-dependent plasticity, homeostatic mechanisms, and lateral inhibitory connections, capable of recognizing complex patterns and choosing rewarded actions. Additionally, it develops a functional striosome model for reward prediction error (RPE) in the basal ganglia. Finally, it refines an existing striatal reinforcement learning model by incorporating acetylcholine as a local population feedback, which demonstrates proficiency in pattern recognition and action selection, while offering insights into the brain's learning mechanisms and the role of neuromodulators. ¶ ¶ The research presented in this thesis has explored the neural mechanisms involved in action selection, learning, and decision-making, with a particular focus on the striatum and the basal ganglia. Through computational models and novel methodologies, this work has contributed to an enhanced understanding of how neuronal populations and neuromodulators interact within the basal ganglia, and potentially with other brain regions. While the insights gained are promising, the study acknowledges certain limitations, notably the sensitivity of the model's internal dynamics to the form of input representation. Future research is encouraged to further validate these findings and explore additional biological factors, such as the basal ganglia-cortex loop and the role of interneurons. Moreover, the use of high-performance computing platforms and the development of novel optimization techniques are suggested as avenues for refining the computational models. This could have practical applications, including advancing knowledge on neurological disorders like Huntington's disease and fostering the development of bio-inspired reinforcement agents. 2024-03-05T12:41:13Z 2024-03-05T12:41:13Z 2024 2024-01-18 info:eu-repo/semantics/doctoralThesis González-Redondo, Alvaro. Action Learning in an Integrated Model of Basal Ganglia and its Application in Control Systems. Granada: Universidad de Granada, 2024. [https://hdl.handle.net/10481/89805] 9788411951913 https://hdl.handle.net/10481/89805 eng http://creativecommons.org/licenses/by-nc-nd/4.0/ info:eu-repo/semantics/openAccess Attribution-NonCommercial-NoDerivatives 4.0 Internacional Universidad de Granada