Research on acoustic technologies and processing concepts to activate and control devices by gesture

Abstract

Los modos de interacción con sistemas están evolucionando para mimetizar la comunicación humana. Esto implica que estos sistemas están pasando de basarse en comandos de entrada únicos (como pulsar teclas, comandos de voz, gestos) a una interpretación de varios comandos. En otras palabras, la interacción se convertirá en un sistema multimodal, capaz no sólo de reconocer lo que el usuario está dando como entrada, sino también de modificar el significado de esta entrada en función del contexto en el que se ha proporcionado. Esto implica la necesidad de introducir nuevas tecnologías en el campo del control de dispositivos para incrementar la información que se recoge del usuario. Esta tesis doctoral es el resultado de la investigación de tecnologías acústicas, en concreto ultrasonidos, para la activación y control de dispositivos a través de gestos. Dichos resultados se presentan en forma de compendio de publicaciones, recopilando los artículos científicos publicados durante el periodo doctoral. La investigación se ha realizado en paralelo al desarrollo de un innovador transductor ultrasónico. El objetivo ha sido estudiar la viabilidad del uso de dicho sensor como único método de entrada para sistemas de reconocimiento de gestos. Se ha evaluado y demostrado la posibilidad de utilizar sistemas con recursos limitados, como Edge devices, como dispositivos para la adquisición y procesado de la señal obtenida por el sensor ultrasónico. Posteriormente se han investigado algoritmos para el posicionamiento de objetos (por ejemplo, una mano) basados en el tiempo de vuelo (ToF por sus siglas en inglés), generalizándolos para más de un sensor. Por último, se ha desarrollado un sistema de escritura aérea, capaz de obtener y reconocer una serie de caracteres alfanuméricos realizados por el usuario en el aire. Dicho sistema puede ser generalizado a otro tipo de trayectorias o gestos. La investigación se ha realizado bajo un contrato doctoral en las instalaciones de Infineon Technologies AG, en su sede principal de Múnich, Alemania.

Human interaction systems (HSI) are evolving to mimic human communication. This implies that these systems are moving from being based on single input commands (such as key presses, voice commands, gestures) to a multi-command interpretation. In other words, interaction will become a multimodal system, capable not only of recognizing what the user is giving as input, but also of modifying the meaning of this input depending on the context. This implies the need to introduce new technologies in the field of device control to increase the information collected from the user. This doctoral thesis is the result of the investigation of acoustic technologies, specifically ultrasound, for the activation and control of devices through gestures. These results are presented in the form of a compendium of publications, compiling the scientific articles published during the doctoral period. The research has been carried out in parallel with the development of an innovative ultrasonic transducer. The objective has been to study the feasibility of using this sensor as a unique input method for gesture recognition systems. The possibility of using systems with limited resources, such as Edge devices, as devices for the acquisition and processing of the signal obtained by the ultrasonic sensor has been evaluated and demonstrated. Subsequently, algorithms for object positioning (e.g. a hand) based on time-of-flight (ToF) have been investigated and generalized to more than one sensor. Finally, an airborne writing system has been developed, capable of obtaining and recognizing a series of alphanumeric characters made by the user in the air. This system can be generalized to other types of trajectories or gestures. The research has been carried out under a doctoral contract at the facilities of Infineon Technologies AG, at its headquarters in Munich, Germany.