Optimized radio resource allocation in 5G using Deep Q-Networks (DQN)

Abstract

The transition from 4G to 5G has not only been marked by growth in traffic, as has been usual in the last decade, but has also been accompanied by an increase in the number of devices and services. Services like Massive Internet of Things (mIoT), Massive Machine Type Communication (mMTC), ultra-Reliable Low Latency Communication (uRLLC), and Enhanced Mobile Broadband (eMBB) necessitate the implementation of network slicing, which considerably increase network complexity. To accommodate emerging services and successfully transition to future networks, operators must tackle the challenge of managing and optimizing their network infrastructure. In this context, Machine Learning (ML) and Artificial Intelligence (AI) emerge as promising technologies capable of enhancing the efficiency of numerous processes that have traditionally relied on the expertise of human specialists. The integration of AI into 5G and future 6G networks, while promising, presents challenges, such as training models with the vast amounts of data generated by these networks. However, by leveraging this data, AI can detect patterns and trends that enable proactive resource allocation, load balancing, or energy-saving measures as some application examples. Despite the clear potential of these technologies, the adoption of AI and ML methods in mobile networks remains in its early stages. The numerous challenges that lie ahead, coupled with the certainty that this technology will be transformative, have driven the initiation of this project. The goal is to make a contribution to the ongoing academic and industrial efforts in this field. To achieve this, a DQN-based radio resource allocation agent has been developed, designed to optimize network parameters to meet specific service requirements within a 5G network slice.

La transición de 4G a 5G no ha estado marcada únicamente por un crecimiento en el trafico, como venía siendo habitual en la ultima década, si no que ha venido acompañada de un aumento en el numero de dispositivos y servicios. Servicios como Massive Internet of Things (mIoT), Massive Machine Type Communication (mMTC), ultra-Reliable Low Latency Communication (uRLLC), and Enhanced Mobile Broadband (eMBB) que requieren la implementación de network slicing aumentan significativamente la complejidad de la red. Para responder a los nuevos servicios y transicionar hacia las redes del futuro de forma satisfactoria, los operadores se enfrentan al reto de gestionar y optimizar su infraestructura de red. La optimización de los recursos de la red nunca habıa sido un aspecto tan critico como ahora. Los métodos tradicionales ya no son suficientes para gestionar la complejidad y la escala de las redes 5G. Ante esto el aprendizaje maquina y la inteligencia artificial se presentan como una prometedora tecnología capaz de mejorar la eficiencia de múltiples procesos, que tradicionalmente han sido llevados a cabo por humanos con un amplio conocimiento experto. La integración de la AI en las redes 5G y las futuras 6G, si bien es prometedora, presenta desafíos, como el entrenamiento de modelos con la gran cantidad de datos generados por estas redes. Sin embargo, al aprovechar estos datos, la AI puede detectar patrones y tendencias que permitan la asignación proactiva de recursos, el equilibrio de carga o medidas de ahorro de energía como algunos ejemplos de aplicación. A pesar del claro potencial de estas tecnologías, la adopción de métodos de AI y ML en redes móviles aún se encuentra en sus primeras etapas. Los numerosos desafíos que se avecinan, junto con la certeza de que esta tecnología será transformadora, han impulsado el inicio de este proyecto. El objetivo es realizar una contribución a los esfuerzos académicos e industriales en este campo. Para lograrlo, se ha desarrollado un agente de asignación de recursos de radio basado en DQN, diseñado para optimizar los parámetros de red cumpliendo con los requisitos de servicio específicos dentro de una slice 5G.