Exploration of Self-Learning Radar-based Applications for Activity Recognition and Health Monitoring

Abstract

Sensor-based monitoring has proven effective in many settings for determining people’s well-being and protecting their safety, even in difficult times like the COVID-19 pandemic. In many applications, radio wave-based systems are more versatile than those based on traditional sensors, thanks to non-contact sensing while preserving privacy. Health monitoring and assisted living are two good examples of how such systems are finding widespread usage in everyday applications. Good performance in such complex monitoring and recognition tasks is often achieved via machine learning. In particular, deep learning can aid with feature extraction, algorithm performance optimization, and forecasting. Yet, to learn how to tackle problems effectively, the generated models usually need access to a substantial amount of data. Furthermore, data preparation may be time-consuming and costly, especially when handled by specialists or when required in real-time systems. Few-shot learning techniques overcome these issues by adapting models to self-learn how to extract meaningful information from limited data. This is feasible by leveraging the learning context and previously acquired knowledge. This doctoral thesis is the result of research on the exploration of fewshot learning techniques for radar-based applications in activity recognition and health monitoring. The investigation was performed by constraining the adaptation of radar-based solutions to limited data, ensuring the robustness of context generalization. The primary goal has been to investigate the use of limited data in very different non-contact applications, each with its own constraints and requirements. Millimeter-wave radar technology and fewshot learning have been used for hand gesture recognition, people counting, and human respiratory signal estimation. Such use cases, ranging from the millimetric displacements of vital signs to the distance of moving individuals, require specific information preprocessing. The generalization learning strategy has been explored for context and user adaptation while also accounting for preprocessing. Some of the algorithms were adapted to run on edge devices, allowing for end-to-end performance estimation and adaptation. The research has been carried out under a doctoral contract at the facilities of Infineon Technologies AG, at its headquarters in Munich, Germany.

La monitorización mediante sensores ha demostrado su eficacia en muchos entornos para determinar el estado de salud de las personas y proteger su seguridad, incluso en circunstancias difíciles como la pandemia de COVID- 19. En muchas aplicaciones, gracias a la detección sin contacto preservando la privacidad, los sistemas basados en ondas de radio son más versátiles que los basados en sensores tradicionales. La vigilancia de la salud y la vida asistida son dos buenos ejemplos de cómo que son estos sistemas se están generalizando en las aplicaciones cotidianas. Un buen rendimiento en estas complejas tareas de supervisión y reconocimiento se consigue a menudo mediante el aprendizaje automático. En particular, el aprendizaje profundo puede ayudar en la extracción de características, la optimización del rendimiento de los algoritmos y la predicción. Sin embargo, para aprender a abordar los problemas con eficacia, los modelos generados suelen necesitar acceso a una cantidad considerable de datos. Además, la preparación de los datos puede llevar mucho tiempo y ser onerosa, especialmente cuando la manejan especialistas o cuando se requiere en sistemas en tiempo real. Las técnicas de few-shot learning resuelven estos problemas adaptando los modelos para que aprendan por sí mismos a extraer información significativa a partir de datos limitados. Esto es posible aprovechando el contexto de aprendizaje y los conocimientos adquiridos previamente. Esta tesis doctoral es el resultado de una investigación sobre la exploración de técnicas de few-shot learning para aplicaciones basadas en radares en el reconocimiento de actividades y la monitorización de la salud. La investigación se ha realizado restringiendo la adaptación de soluciones basadas en radar a unos pocos datos, asegurando la robustez de la generalización del contexto. El objetivo principal ha sido investigar los usos de datos limitados en aplicaciones sin contacto muy diferentes, cada una con sus propios contextos y requisitos. La tecnología de radar de ondas milimétricas y el few-shot learning se han utilizado para el reconocimiento de gestos de la mano, el recuento de personas y la estimación de señales respiratorias humanas. Estas aplicaciones requieren un preprocesamiento específico de la información, que va desde los desplazamientos milimétricos de las señales vitales hasta la distancia debida a individuos en movimiento. Se ha explorado la estrategia de aprendizaje por generalización para la adaptación al contexto y al usuario, teniendo en cuenta también el preprocesamiento. Algunos de los algoritmos se adaptaron para ejecutarse en dispositivos periféricos (edge), lo que permite la estimación y adaptación de las prestaciones end to end. La investigación se ha realizado bajo un contrato doctoral en las instalaciones de Infineon Technologies AG, en su sede principal de Múnich, Alemania.