Efficient Sensor Fusion of LiDAR and Radar for autonomous vehicles

Abstract

La conducción autónoma cada vez es más relevante gracias a los avances conseguidos por compañías como Tesla o Google. Esto se debe al avance en el campo de la inteligencia artificial al mismo tiempo que se desarrollan y/u optimizan sensores como el LiDAR, especialmente relevante para esta tarea. Sin embargo, ya que se estima que cada vez habrá más vehículos autónomos, se debe asegurar su correcto funcionamiento en todos los escenarios comunes y no solo en condiciones de laboratorio. Esto implica la necesidad de introducir técnicas de fusion sensorial para la detección de objetos relevates para la conducción en condiciones adversas. Esta tesis doctoral es el resultado de la investigación de tecnologías para la percepción basadas en técnicas de fusión sensorial así como deep learning para la detección de objetos relevantes en aplicaciones para vehículos autónomos. Dichos resultados se presentan en forma de compendio de publicaciones, recopilando los artículos científicos publicados durante el periodo doctoral. La investigación se ha realizado teniendo en cuenta las limitaciones impuestas en el network edge respecto a memoria de los dispositivos y latencia esperada para aplicaciones en tiempo real. El objetivo ha sido la implementación en un edge device el proceso completo requerido para la detección de objetos, incluyendo el preprocesamiento de los datos antes de su evaluacion con técnicas de inteligencia artificial. Para ello, se han investigado los distintos sensores que pueden ser relevantes para la conducción autónoma (cámara, LiDAR y radar) así como técnicas para preprocesar estos datos con el objetivo de mantener la información mientras que se reduce su tamaño. Posteriormente se han investigado algoritmos de deep learning que puedan usarse para la detección de objetos siguiendo un esquema de fusión sensorial. Por último, estos algoritmos se han optimizado para poder ejecutarse en un edge device, como el Google Coral TPU usado en esta investigación. La investigación se ha realizado bajo un contrato doctoral en las instalaciones de Infineon Technologies AG, en su sede principal de Múnich, Alemania.

Autonomous driving is more relevant recently thanks to the advances achieved by companies such as Tesla or Google. This is a result of the technological advances in the field of artificial intelligence at the same time as new automotive sensors are been developed or further optimized, such as LiDAR sensors, which are highly relevant for autonomous driving tasks. However, since it is assumed in the future there will be a large number of autonomous vehicles in the streets, it must be ensured that these vehicles can perform as expected in all normal scenarios present in the real world and not only in laboratory conditions. Therefore, it is required to integrate sensor fusion techniques in the target detection pipeline for autonomous vehicles. This doctoral thesis is the result of a research about technologies for computer perception based on sensor fusion techniques as well as deep learning algorithms for target detection for autonomous vehicle applications. These results are presented in the form of a compendium of publications, compiling the scientific articles published during the doctoral period. The research has been planned taking into consideration the constrains related to the network edge regarding device memory and latency expected for real time applications. The general objective has been the implementation of the full target detection pipeline in an edge device, including the data preprocessing as well as the evaluation of the data using artificial intelligence techniques. For this purpose, relevant automotive sensors for perception that can be used for autonomous driving have been researched (such as camera, LiDAR and radar sensors) as well as techniques to preprocess the data provided by these sensors in order to maintain relevant features while reducing their memory size and complexity. After this, deep learning algorithms that can be used for target detection following a sensor fusion paradigm have also been researched. Lastly, these algorithms have been optimized to fit in edge devices, such as the Google Coral TPU used in this research. The research has been carried out under a doctoral contract at the facilities of Infineon Technologies AG, at its headquarters in Munich, Germany.