Efficient Sensor Fusion of LiDAR and Radar for autonomous vehicles
Metadatos
Afficher la notice complèteAuteur
Méndez Gómez, JavierEditorial
Universidad de Granada
Departamento
Universidad de Granada. Programa de Doctorado en Tecnologías de la Información y la ComunicaciónMateria
LIDAR Radar Autonomous vehicles
Date
2022Fecha lectura
2022-05-20Referencia bibliográfica
Méndez Gómez, Javier. Efficient Sensor Fusion of LiDAR and Radar for autonomous vehicles. Granada: Universidad de Granada, 2022. [http://hdl.handle.net/10481/75425]
Patrocinador
Tesis Univ. Granada.Résumé
La conducción autónoma cada vez es más relevante gracias a los avances
conseguidos por compañías como Tesla o Google. Esto se debe al avance en
el campo de la inteligencia artificial al mismo tiempo que se desarrollan y/u
optimizan sensores como el LiDAR, especialmente relevante para esta tarea.
Sin embargo, ya que se estima que cada vez habrá más vehículos autónomos,
se debe asegurar su correcto funcionamiento en todos los escenarios comunes
y no solo en condiciones de laboratorio. Esto implica la necesidad de introducir
técnicas de fusion sensorial para la detección de objetos relevates para
la conducción en condiciones adversas.
Esta tesis doctoral es el resultado de la investigación de tecnologías para
la percepción basadas en técnicas de fusión sensorial así como deep learning
para la detección de objetos relevantes en aplicaciones para vehículos
autónomos. Dichos resultados se presentan en forma de compendio de publicaciones,
recopilando los artículos científicos publicados durante el periodo
doctoral.
La investigación se ha realizado teniendo en cuenta las limitaciones impuestas
en el network edge respecto a memoria de los dispositivos y latencia
esperada para aplicaciones en tiempo real. El objetivo ha sido la implementación
en un edge device el proceso completo requerido para la detección
de objetos, incluyendo el preprocesamiento de los datos antes de su evaluacion
con técnicas de inteligencia artificial. Para ello, se han investigado
los distintos sensores que pueden ser relevantes para la conducción autónoma
(cámara, LiDAR y radar) así como técnicas para preprocesar estos datos con
el objetivo de mantener la información mientras que se reduce su tamaño.
Posteriormente se han investigado algoritmos de deep learning que puedan
usarse para la detección de objetos siguiendo un esquema de fusión sensorial.
Por último, estos algoritmos se han optimizado para poder ejecutarse en un
edge device, como el Google Coral TPU usado en esta investigación.
La investigación se ha realizado bajo un contrato doctoral en las instalaciones
de Infineon Technologies AG, en su sede principal de Múnich,
Alemania. Autonomous driving is more relevant recently thanks to the advances
achieved by companies such as Tesla or Google. This is a result of the technological
advances in the field of artificial intelligence at the same time as new
automotive sensors are been developed or further optimized, such as LiDAR
sensors, which are highly relevant for autonomous driving tasks. However,
since it is assumed in the future there will be a large number of autonomous
vehicles in the streets, it must be ensured that these vehicles can perform
as expected in all normal scenarios present in the real world and not only
in laboratory conditions. Therefore, it is required to integrate sensor fusion
techniques in the target detection pipeline for autonomous vehicles.
This doctoral thesis is the result of a research about technologies for computer
perception based on sensor fusion techniques as well as deep learning
algorithms for target detection for autonomous vehicle applications. These
results are presented in the form of a compendium of publications, compiling
the scientific articles published during the doctoral period.
The research has been planned taking into consideration the constrains
related to the network edge regarding device memory and latency expected
for real time applications. The general objective has been the implementation
of the full target detection pipeline in an edge device, including the data
preprocessing as well as the evaluation of the data using artificial intelligence
techniques. For this purpose, relevant automotive sensors for perception that
can be used for autonomous driving have been researched (such as camera,
LiDAR and radar sensors) as well as techniques to preprocess the data provided
by these sensors in order to maintain relevant features while reducing
their memory size and complexity. After this, deep learning algorithms that
can be used for target detection following a sensor fusion paradigm have also
been researched. Lastly, these algorithms have been optimized to fit in edge
devices, such as the Google Coral TPU used in this research.
The research has been carried out under a doctoral contract at the facilities
of Infineon Technologies AG, at its headquarters in Munich, Germany.