Action Learning in an Integrated Model of Basal Ganglia and its Application in Control Systems
Metadatos
Afficher la notice complèteAuteur
González-Redondo, AlvaroEditorial
Universidad de Granada
Departamento
Universidad de Granada. Programa de Doctorado en Tecnologías de la Información y la ComunicaciónMateria
Basal ganglia Dopamine Reinforcement learning Spiking neural network Striatum Sistema nervioso Ganglios basales Modelos de redes neuronales Enfermedad de Huntington Neurociencia computacional
Date
2024Fecha lectura
2024-01-18Referencia bibliográfica
González-Redondo, Alvaro. Action Learning in an Integrated Model of Basal Ganglia and its Application in Control Systems. Granada: Universidad de Granada, 2024. [https://hdl.handle.net/10481/89805]
Patrocinador
Tesis Univ. Granada.; University of Granada under FEDER 2014-2020.; Andalucía Regional funds under the grants EmbBrain (A-TIC-276-UGR18) and CEREBIO (FEDER- P18- FR-2378); Spain National Grant (MICINN-FEDER- PID2019-109991GB-I00); EU H2020 Framework Program under the Specific Grant Agreement No. 945539 (Human Brain Project SGA3); Spain national research training grant (FPU17/04432); R+D+i projects RTI2018-095993-B-I00 and PID2021-123278OB-I00, 642 financed by MCIN/AEI/10.13039/501100011033/ and ERDF “A way to make Europe”; Junta de Andalucía with reference P18-RT-1193; University of Almería with reference UAL18-TIC644 A020-B.; EU Horizon 2020 research and innovation program under the Marie Sklodowska-Curie grant agreement No. 891774 (NEUSEQBOT)Résumé
Esta tesis está motivada por la necesidad de comprender las complejas funcionalidades del sistema
nervioso, específicamente los ganglios basales (GB), debido a su importante papel en trastornos
neurológicos y procesos de comportamiento. Los enfoques experimentales tradicionales no han
logrado explicar satisfactoriamente cómo las estructuras cerebrales contribuyen a comportamientos
complejos, lo cual hace necesaria la adopción de enfoques alternativos como el modelado
computacional.
Esta tesis tiene como objetivo llenar este vacío mediante el uso de modelos
computacionales inspirados biológicamente, centrados principalmente en redes neuronales de
impulsos (SNNs), para simular los ganglios basales. La simulación se enfoca en entender el papel de
los ganglios basales en la selección de acciones y la influencia de neuromoduladores,
particularmente la dopamina y la acetilcolina, en el aprendizaje y la toma de decisiones. El objetivo
final es vincular e integrar perspectivas de la neurociencia con agentes corpóreos, aplicando el
conocimiento de los procesos de aprendizaje motor dentro de los ganglios basales al desarrollo de
selección de acciones en sistemas de control.
Esta tesis presenta varias contribuciones al campo de la neurociencia computacional, centrándose en
modelos de los ganglios basales. En primer lugar, introduce un modelo computacional para
esclarecer la paradójica mejora sensorial observada en pacientes con enfermedad de Huntington,
sugiriendo que los niveles de dopamina y las etapas tempranas de la afección pueden desempeñar
un papel significativo. En segundo lugar, realiza un examen exhaustivo de la optimización de modelos
neuronales de spikes del estriado para la plasticidad, destacando la efectividad de los algoritmos de
optimización automática en el ajuste de modelos. En tercer lugar, construye un modelo de red
biológicamente inspirado del estriado, integrando características como la plasticidad dependiente del
tiempo de disparo, mecanismos homeostáticos y conexiones inhibitorias laterales, capaz de
reconocer patrones complejos y elegir acciones recompensadas. Además, desarrolla un modelo
funcional de estriosoma para el error de predicción de recompensa (RPE) en los ganglios basales.
Finalmente, refina un modelo existente de aprendizaje por refuerzo en el estriado incorporando la
acetilcolina como retroalimentación de la población local, lo que demuestra habilidad en el
reconocimiento de patrones y selección de acciones, a la vez que ofrece ideas sobre los mecanismos
de aprendizaje del cerebro y el papel de los neuromoduladores.
La investigación presentada en esta tesis ha explorado los mecanismos neuronales involucrados en
la selección de acciones, el aprendizaje y la toma de decisiones, con un enfoque particular en el
estriado y los ganglios basales. A través de modelos computacionales y metodologías novedosas,
este trabajo ha contribuido a una mejor comprensión de cómo las poblaciones neuronales y los
neuromoduladores interactúan dentro de los ganglios basales. Si bien los conocimientos adquiridos
son prometedores, el estudio reconoce ciertas limitaciones, en particular, la sensibilidad de la
dinámica interna del modelo a la forma de representación de la entrada. Se alienta a investigaciones
futuras a validar y ampliar estos hallazgos, y explorar factores biológicos adicionales, como el bucle
ganglios basales-corteza y el papel de las interneuronas. Además, se sugiere el empleo de
plataformas de computación de alto rendimiento y el desarrollo de nuevas técnicas de optimización
como vías para refinar aún más estos modelos. Esto podría tener aplicaciones prácticas, como
avanzar en el conocimiento sobre trastornos neurológicos como la enfermedad de Huntington y
fomentar el desarrollo de agentes de refuerzo bioinspirados. This thesis is motivated by the need to comprehend the complex functionalities of the nervous
system, specifically the basal ganglia (BG), due to its significant role in neurological disorders and
behavioral processes. Traditional experimental approaches have fallen short in explaining the
contributions of brain structures to intricate behaviors, thus necessitating alternative approaches like
computational modeling. This thesis aims to bridge this gap by employing biologically-inspired
computational models, with a focus on spiking neural networks (SNNs) due to their ability to emulate
the temporal dynamics of biological neurons, to simulate the basal ganglia. The simulation aims to
understand the basal ganglia's role in action selection and the influence of neuromodulators,
particularly dopamine and acetylcholine, on learning and decision-making. The ultimate objective is to
link and integrate insights from neuroscience to embodied agents, by applying the knowledge of motor
learning processes within the basal ganglia to the development of action selection in control systems.
¶
¶
This thesis presents several contributions to the field of computational neuroscience, focusing on
models of the basal ganglia. First, it introduces a computational model to elucidate the paradoxical
sensorial improvement observed in patients with Huntington's disease, suggesting that both dopamine
levels and the early stage of affliction may independently play significant roles. Secondly, it
undertakes a thorough examination of methods for tuning spiking neural models of striatum plasticity,
highlighting the effectiveness of automatic optimization algorithms in calibrating the models. Third, it
constructs a biologically-inspired network model of the striatum integrating features such as
spike-timing-dependent plasticity, homeostatic mechanisms, and lateral inhibitory connections,
capable of recognizing complex patterns and choosing rewarded actions. Additionally, it develops a
functional striosome model for reward prediction error (RPE) in the basal ganglia. Finally, it refines an
existing striatal reinforcement learning model by incorporating acetylcholine as a local population
feedback, which demonstrates proficiency in pattern recognition and action selection, while offering
insights into the brain's learning mechanisms and the role of neuromodulators.
¶
¶
The research presented in this thesis has explored the neural mechanisms involved in action
selection, learning, and decision-making, with a particular focus on the striatum and the basal ganglia.
Through computational models and novel methodologies, this work has contributed to an enhanced
understanding of how neuronal populations and neuromodulators interact within the basal ganglia,
and potentially with other brain regions. While the insights gained are promising, the study
acknowledges certain limitations, notably the sensitivity of the model's internal dynamics to the form of
input representation. Future research is encouraged to further validate these findings and explore
additional biological factors, such as the basal ganglia-cortex loop and the role of interneurons.
Moreover, the use of high-performance computing platforms and the development of novel
optimization techniques are suggested as avenues for refining the computational models. This could
have practical applications, including advancing knowledge on neurological disorders like
Huntington's disease and fostering the development of bio-inspired reinforcement agents.