The dynamics of neural codes in biological and artificial neural networks : from criticality to machine learning and drifting representations

Abstract

En esta tesis se combinan tres enfoques diferentes para el estudio de la dinámica de las redes neuronales y sus representaciones internas: un enfoque computacional, basado en características biológicas básicas de las neuronas y sus redes para construir modelos efectivos que puedan simular su estructura y dinámica; un enfoque desde la inteligencia artificial, en paralelo con las capacidades funcionales de las redes cerebrales, permitiéndonos inferir las propiedades dinámicas requeridas para resolver ciertas tareas involucradas en el procesamiento de inputs externos; y un tratamiento teórico, bajo la hipótesis del cerebro “crítico” como base matemática para explicar las propiedades colectivas emergentes que surgen de las interacciones de millones de neuronas. De la mano de la Física, nos aventuraremos en el reino de la neurociencia para explicar la existencia de propiedades invariantes de escala que son cuasi-universales entre diferentes regiones cerebrales, buscando cuantificar cuan lejos se encuentre la dinámica de estas últimas de un punto crítico. Luego pasaremos al terreno de la inteligencia artificial, donde la misma teoría de fenómenos críticos resultará muy útil para explicar los efectos de reglas de plasticidad neuronal en la capacidad de predicción de algoritmos tipo Reservoir Computing. A mitad de camino en nuestro viaje, introducimos el concepto de representaciones neuronales de estímulos externos, revelando un sorprendente vínculo entre el régimen dinámico de las redes neuronales y las propiedades topológicas que deben presentar estas representaciones para ser óptimas. La tesis culmina con el singular problema de la deriva representacional, un fenómeno observado recientemente en el proceso de codificación de olores por parte de la corteza olfativa, analizando los posibles mecanismos de plasticidad sináptica que podrían explicar dicho fenómeno.

In this thesis, we will combine three different approaches to the study of the dynamics of neural networks and their encoding representations: a computational approach, that builds upon basic biological features of neurons and their networks to construct effective models that can simulate their structure and dynamics; a machine-learning approach, which draws a parallel with the functional capabilities of brain networks, allowing us to infer the dynamical and encoding properties required to solve certain inputprocessing tasks; and a final, theoretical treatment, which will take us into the fascinating hypothesis of the “critical” brain as the mathematical foundation that can explain the emergent collective properties arising from the interactions of millions of neurons. Hand in hand with Physics, we will adventure into the realm of neuroscience to explain the existence of quasi-universal scaling properties across brain regions, setting to quantify the distance of their dynamics from a critical point. We will them move into the grounds of artificial intelligence, where the very same theory of critical phenomena will prove very useful to explain the effects of biologically-inspired plasticity rules in the prediction ability of Reservoir Computers. Half-way into our journey, we introduce the concept of neural representations of external stimuli, unveiling a surprising link between the dynamical regime of neural networks and the optimal topological properties of these representation manifolds. The thesis ends with the singular problem of representational drift in the encoding of odors by the olfactory cortex, uncovering the potential synaptic plasticity mechanisms that could explain this recently observed phenomenon.