A generic self-learning emotional framework for Reinforcement Learning agents

Abstract

In nature, intelligent living beings have developed emotions to modulate their behavior as a fundamental evolutionary advantage. However, researchers seeking to endow machines with this advantage lack a clear theory from cognitive neuroscience describing emotional elicitation from first principles, namely, from raw observations to concrete affects. As a result, they often resort to case-specific solutions and arbitrary or hard-coded models that fail to generalize well to other agents and tasks. Here we propose that emotions correspond to distinct temporal patterns perceived in crucial values for living beings in their environment (like recent rewards, expected future rewards or anticipated world states). Based on this foundation, we introduce a fully self-learning emotional framework for Artificial Intelligence agents convincingly associating said patterns to natural emotions documented in the scientific literature. Applied in a case study, an artificial neural network trained on unlabeled agent’s experiences successfully learned and identified eight basic emotional patterns that are situationally coherent and reproduce natural emotional dynamics. Validation through an emotional attribution study, where human observers rated their pleasure-arousal-dominance dimensions, showed high statistical agreement, distinguishability, and strong alignment with experimental psychology accounts, demonstrating that human observers can infer the internal “emotional state” of artificial agents, aligning closely with the agents’ internal status variables. We believe that the generality of the framework and the cross-disciplinary language defined, grounded on first principles from Reinforcement Learning, may lay the foundations for further research and applications, leading us toward emotional machines that think and act more like us.

En la naturaleza, los seres vivos dotados de inteligencia han desarrollado emociones para modular su comportamiento como una ventaja evolutiva fundamental. Sin embargo, en su aspiración de dotar a las máquinas de esta ventaja, los investigadores carecen de una teoría clara en la neurociencia cognitiva que describa la elicitación emocional desde principios fundamentales, es decir, desde observaciones crudas hasta afectos concretos. Como resultado, se recurre a menudo a soluciones específicas para cada caso y a modelos arbitrarios o codificados de manera fija que no generalizan bien a otros agentes y tareas. El presente estudio propone la hipótesis de que las emociones corresponden a distintos patrones temporales percibidos en valores cruciales para los seres vivos en su entorno (como recompensas recientes, recompensas futuras esperadas o estados anticipados del mundo). Sobre esta base, se introduce un marco emocional completamente autoaprendido para agentes con Inteligencia Artificial que asocia convincentemente dichos patrones con las emociones naturales documentadas en la literatura científica. Aplicado a un caso práctico, una red neuronal artificial entrenada con experiencias no etiquetadas del agente identificó con éxito ocho patrones emocionales básicos que son coherentes situacionalmente y reproducen dinámicas emocionales naturales. La validación mediante un estudio de atribución emocional, en el que observadores humanos evaluaron sus dimensiones de placer-activación-dominancia, demostró un alto nivel de acuerdo estadístico, distinguibilidad y un fuerte alineamiento con los registros de la psicología experimental, demostrando que los observadores humanos pueden inferir el “estado emocional” interno de agentes artificiales, alineándose estrechamente con las variables internas de estado del agente. Creemos que la generalidad de este marco de trabajo y el lenguaje interdisciplinario que define, basado en principios fundamentales del Aprendizaje por Refuerzo, pueden sentar las bases para futuras investigaciones y aplicaciones que conduzcan hacia máquinas emocionales que piensen y actúen más como nosotros.