Parametrized Quantum Circuits for Reinforcement Learning

Abstract

Quantum Computing (QC) is currently undergoing significant research despite being in its early stage and facing limitations during the NISQ (Noisy Intermediate-Scale Quantum) era, where simulators and emulators are being extensively utilized. Particularly, Quantum Machine Learning (QML) is gaiming increasing interest area in the scientific community. However, Reinforcement Learning (RL) has received comparatively less attention in this field. To address this gap, this study explores RL using Parametrized Quantum Circuits (PQC), with a specific focus on energy efficiency scenarios. Although PQCs have demonstrated success in various domains, including supervised learning and unsupervised learning, their application as quantum algorithm has been controversial due to challenges such as Barren Plateaus, which resemble the vanishing gradient phenomenon, as well as issues related to generalization and scalability, many of which are shared with classical models. We will compare their performance with classical approaches and propose solutions for their limitations. In parallel, recent advancements in artificial intelligence (AI) have led to the emergence of brain-inspired AI, an interdisciplinary field blending principles from neuroscience, psychology, and computer science to enhance the development of Artificial General Intelligence (AGI).For instance, current language models such as ChatGPT and GPT-4 employ Reinforcement Learning with human feedback (RLHF) to align their behavior with human values. This interdisciplinary fusion has driven innovation, particularly in RL, where insights from neurobiology and neuropsychology have revolutionized algorithm development, sparking a surge in research activity. Researchers have leveraged these insights to develop novel mechanisms for understanding intelligent decision-making processes in the brain, such as meta-learning to mimic neurotransmitter dynamics and the emulation of theory of mind capabilities through Spiking Neural Networks (SNN) for actor Networks and Artificial Neural Networks (ANN) for critic networks. Attentional Reinforcement Learning techniques have also found applications in various domains such as the capacitated vehicle routing problem [1]. Consequently, integrating of neuroscientific theories into quantum agents could not only help solve existing challenges, such as noise interference, infrequent events, and mitigating catastrophic forgetting, but also provide valuable insights that could open up new research avenues in this field. In this context, we introduce an innovative model inspired by the hypothalamus and hippocampus to address challenges such as catastrophic forgetting, noise susceptibility, Barren Plateaus, and improve convergence. This research represents a novel integration of neuroscientific principles into Quantum Computing.

La Computación Cuántica (QC) está actualmente experimentando una investigación significativa, a pesar de encontrarse en sus etapas iniciales y enfrentar limitaciones durante la era NISQ, donde los simuladores y emuladores se utilizan ampliamente. En particular, el Aprendizaje Automático Cuántico (QML) está ganando gran interés en la comunidad científica, aunque el Aprendizaje por Refuerzo (RL) ha recibido comparativamente menos atención en este ámbito. Para abordar este gap, este estudio explora RL utilizando Circuitos Cuánticos Parametrizados (PQC), con un enfoque específico en escenarios de eficiencia energética. Aunque los PQC han demostrado éxito en varios dominios, incluidos el aprendizaje supervisado y no supervisado, su aplicación como algoritmo cuántico ha sido controvertida debido a desafíos como las mesetas estériles (Barren Plateau), que se asemejan al fenómeno del gradiente desvaneciente, así como problemas relacionados con la generalización y la escalabilidad, muchos de los cuales son compartidos con los modelos clásicos. En paralelo, los recientes avances en inteligencia artificial (AI) han dado lugar al surgimiento de una AI inspirada en el cerebro, un campo interdisciplinario que combina principios de neurociencia, psicología e informática para mejorar el desarrollo de la Inteligencia Artificial General (AGI). Por ejemplo, los modelos de lenguaje actuales como ChatGPT y GPT-4 emplean aprendizaje por refuerzo con retroalimentación humana (RLHF) para alinear su comportamiento con los valores humanos. Esta fusión interdisciplinaria ha impulsado la innovación, especialmente en RL, donde los conocimientos de neurobiología y neuropsicología han revolucionado el desarrollo de algoritmos, provocando un aumento en la actividad investigativa. Los investigadores han aprovechado estos conocimientos para desarrollar mecanismos novedosos que permitan comprender los procesos de toma de decisiones inteligentes que ocurren en el cerebro, como el metaaprendizaje para imitar la dinámica de los neurotransmisores y la emulación de las capacidades de teoría de la mente a través de redes neuronales de impulsos (SNN) para redes de actores y redes neuronales artificiales (ANN) para redes de críticos. Las técnicas de aprendizaje por refuerzo atencional también han encontrado aplicaciones en diversos dominios como el problema de enrutamiento de vehículos con capacidad. Como resultado, la integración de teorías neurocientíficas en agentes cuánticos podría no solo ayudar a resolver los desafíos existentes, como la interferencia de ruido, eventos poco frecuentes y la mitigación del olvido catastrófico, sino también proporcionar ideas valiosas que podrían abrir nuevas vías de investigación en este campo. En este contexto, presentamos un modelo innovador inspirado en el hipotálamo e hipocampo para abordar desafíos como el olvido catastrófico, la susceptibilidad al ruido, las mesetas estériles y mejorar la convergencia. Esta investigación representa una integración novedosa de principios neurocientíficos en la computación cuántica.