Microscopic and mesoscopic descriptions of the Nonlinear Noisy Leaky Integrate-and-Fire model: long-time behavior and numerical simulations

Abstract

This doctoral thesis focuses on the analytical and numerical study of the “Nonlinear Noisy Leaky Integrate-and-Fire” (NNLIF) neural network model, a well-known model coming from kinetic theory, i.e., built from a microscopic description of individual neurons interacting with each other, by means of a mesoscopic statistical description of the network. In our research we have made use of both the microscopic and mesoscopic descriptions of the model in order to understand it as completely as possible. In chapter 1 we present an extensive introduction, with an exhaustive development of the NNLIF model with a single population of neurons, i.e., instead of considering excitatory and inhibitory neurons separately, an average population of them is considered. In addition, we present a section dedicated to the synthesis of the main results ordered by chapters, which serves as a summary of the thesis results. The numerical study of the microscopic description of the model is found in chapter 2, where a multitude of numerical simulations are shown, giving a general picture of the model behavior. Through these results we try to answer the question: What happens after the blow-up? By implementing new solution definitions to the microscopic system, as well as experimenting with different values of the synaptic delay, we arrive at relevant conclusions, such as the tendency towards a “plateau” state instead of blow-up, in highly excitatory networks with delay. With respect to the mesoscopic system, modeled by a nonlinear Fokker-Planck partial differential equation, our investigation is separated into two lines of research: In chapter 3 we provide new theoretical results on the stability of the equation equilibria, improving and complementing previous knowledge on its local behavior. The way to arrive at these results is through an extensive study on the existence and regularity properties of the linear version of the Fokker-Planck equation. The joint application of this study and spectral methods on linear operators, allow us to extend previous results on the stability of equilibria for this equation, in a vector space that includes part of the nonlinear term. Finally, the linearization of the nonlinear equation around its equilibria, its association with a Volterra type integral equation, and the adaptation of known results for the latter, allow us to establish clear and easily verifiable criteria on the stability or instability of the nonlinear Fokker-Planck equation equilibria. The second line of research deals with the global behavior of the mesoscopic system, for this purpose in chapter 4 we define a discrete sequence called “sequence of pseudo-equilibria” and perform an analytical study of its monotonicity, for each range of values of the nonlinear Fokker-Planck equation parameters. Following the intuition acquired during the numerical simulation of the microscopic system, we think that this discrete sequence must describe the long-term behavior of the nonlinear equation for high values of the synaptic delay. To test the veracity of this claim, we perform a rigorous demonstration in the case of low excitatory neuron populations, improving on previous results, and provide a comprehensive numerical study to support our idea. In particular, it is worth mentioning the emergence of periodic solutions for strongly inhibitory networks when we consider high values for the delay. After performing our analytical and numerical study of the NNLIF model, in chapter 5 we have considered the model that takes into account the refractory state of neurons after synapses, considering two distinct populations between active and inactive neurons. Here we apply the techniques developed in chapters 2 and 4 to this model, to provide a global picture of its long-time behavior, together with new phenomena observed in the microscopic system, such as periodic solutions in the excitatory case without the need for delay. Apart from the research on the NNLIF model, in chapter 6 we have carried out a literature review and report on numerical results, about other microscopic models of interest in physics and biology. In particular, we have studied models of interaction between particles through attractive-repulsive potentials of the power-law type. This type of potentials have been widely studied in the scientific literature and are related, depending on the value of their parameters, to important problems such as crystallization or collective behavior phenomena. To complement the review, we have implemented a powerful computational tool to calculate minima of the interaction energy of these models, and we show several results obtained with it. Finally, the conclusions of the thesis are presented in chapter 7, where we show a synthesis of the main results of our research, as well as a discussion of these results, their possible extensions and open problems.

Esta tesis doctoral se centra en el estudio analítico y numérico del modelo de redes neuronales “Nonlinear Noisy Leaky Integrate-and-Fire” (NNLIF), un conocido modelo proveniente de teoría cinética, es decir, construido a partir de una descripción microscópica de neuronas individuales que interactúan entre ellas, por medio de una descripción estadística mesoscópica de la red. En nuestra investigación hemos hecho uso tanto de la descripción microscópica como mesoscópica del modelo, con la finalidad de entenderlo de la forma más completa posible.

En el capítulo 1 presentamos una amplia introducción, con un desarrollo exhaustivo del modelo NNLIF con una única población de neuronas, es decir, donde en vez de considerar neuronas excitadoras e inhibidoras por separado, se considera una población promedio de ellas. Además presentamos una sección dedicada a la sintetización de los resultados principales ordenados por capítulos, que sirve a modo de sumario de resultados de la tesis.

El estudio numérico de la descripción microscópica del modelo se encuentra en el capítulo 2, donde se muestran multitud de simulaciones numéricas, dando una imagen general del comportamiento del modelo. A través de estos resultados tratamos de responder a la pregunta ¿Qué ocurre después del blow-up? Implementando nuevas definiciones de solución al sistema microscópico, así como experimentando con distintos valores del retardo sináptico, llegamos a conclusiones relevantes, como la tendencia hacia un estado “meseta” en vez de blow-up, en redes muy excitadoras con retardo.

Con respecto al sistema mesoscópico, modelado por una ecuación en derivadas parciales de Fokker-Planck no lineal, nuestra investigación se separa en dos vías: En el capítulo 3 ofrecemos nuevos resultados teóricos sobre la estabilidad de los equilibrios de esta ecuación, mejorando y complementando el conocimiento previo sobre su comportamiento local. La forma de llegar a estos resultados es a través de un extensivo estudio sobre las propiedades de existencia y regularidad de la versión lineal de la ecuación de Fokker-Planck. La aplicación conjunta de este estudio y métodos espectrales sobre operadores lineales nos permiten ampliar resultados anteriores sobre la estabilidad de los equilibrios de esta ecuación, en un espacio vectorial que incluye parte del término no lineal. Por último, la linealización de la ecuación no lineal alrededor de sus equilibrios, su asociación con una ecuación integral de tipo Volterra, y la adaptación de resultados conocidos para esta última nos permiten establecer criterios claros y fácilmente comprobables sobre la estabilidad o inestabilidad de los equilibrios de la ecuación de Fokker-Planck no lineal.

La segunda vía trata sobre el comportamiento global del sistema mesoscópico. Para ello, en el capítulo 4 definimos una sucesión discreta llamada “sucesión de pseudo-equilibrios” y realizamos un estudio analítico de su monotonía, para cada rango de valores de los parámetros de la ecuación de Fokker-Planck no lineal. Siguiendo la intuición adquirida durante la simulación numérica del sistema microscópico, pensamos que esta sucesión discreta debe describir el comportamiento a largo plazo de la ecuación no lineal para valores altos del retardo sináptico. Para comprobar la veracidad de esta afirmación, realizamos una demostración rigurosa en el caso de poblaciones de neuronas poco excitadoras, mejorando resultados anteriores, y ofrecemos un exhaustivo estudio numérico. En concreto, merece la pena mencionar la aparición de soluciones periódicas para redes fuertemente inhibidoras cuando consideramos valores altos para el retardo.

Tras elaborar nuestro estudio analítico y numérico del modelo NNLIF, en el capítulo 5 hemos considerado el modelo que tiene en cuenta el estado refractario de las neuronas después de realizar sinapsis, considerando dos poblaciones distintas entre neuronas activas e inactivas. Aquí se aplican las técnicas desarrolladas en los capítulos 2 y 4 a este modelo, para ofrecer una imagen global de su comportamiento a largo plazo, junto con nuevos fenómenos observados en el sistema microscópico, como soluciones periódicas en el caso excitador sin necesidad de retardo.

Aparte de la investigación sobre el modelo NNLIF, en el capítulo 6 hemos realizado una revisión bibliográfica sobre otros modelos microscópicos de interés en física y biología. En concreto hemos estudiado modelos de interacción entre partículas a través de potenciales atractivo-repulsivos del tipo leyes de potencias. Este tipo de potenciales han sido estudiados ampliamente en la literatura científica y guardan relación, dependiendo del valor de sus parámetros, con problemas importantes como la cristalización o fenómenos de comportamiento colectivo. Para complementar la revisión bibliográfica, hemos implementado una potente herramienta computacional para calcular mínimos de la energía de interacción de estos modelos, y mostramos diversos resultados obtenidos con ella.

Por último, las conclusiones de la tesis se presentan en el capítulo 7, donde mostramos una síntesis de los resultados principales de nuestra investigación, así como una discusión de los mismos, planteamiento de sus posibles extensiones y problemas abiertos