Remote Handling Robotic System

Abstract

En este trabajo, se presenta la implementación de un sistema basado en redes neuronales convolucionales (CNNs) para la localización y estimación de la pose de objetos a partir de imágenes RGB, aplicable en entornos reales para el agarre robótico, y considerando las condiciones especı́ficas del proyecto IFMIF-DONES. Se realizó un estudio exhaustivo del estado del arte de las arquitecturas para seleccionar la topologı́a más adecuada para esta tarea, ası́ como una revisión de conjuntos de datos y métricas comúnmente utilizados para la evaluación del rendimiento y la comparación.

Se desarrolla una metodologı́a que aprovecha entornos de simulación para generar imágenes RGB sintéticas aleatorias y sus etiquetas utilizando modelos CAD proporcionados por el laboratorio de robótica del proyecto IFMIF-DONES. Estos entornos facilitaron la generación de una cantidad significativa de datos de entrenamiento, reduciendo la dependencia de datos reales difı́ciles de obtener en las primeras etapas. El sistema fue desplegado e integrado con otras tecnologı́as en un escenario real, donde fue empleado para la recopilación de datos realistas y el procesamiento de imágenes de una maqueta fı́sica impresa en 3D, obtenida de uno de los modelos CAD.

El rendimiento del sistema se evaluó utilizando métricas estándar de estimación de pose, comparándolo con tecnologı́as alternativas, como el sistema de captura de movimiento Vicon. El modelo demostró dificultades al adaptarse a escenarios reales, especialmente debido a la baja definición de la cámara utilizada, la cual simulaba la baja calidad de imagen de cámaras resistentes a la radiación. Además, se realizaron mejoras al modelo basadas en los datos recolectados en el laboratorio del mundo real, logrando resultados satisfactorios y una mejora del rendimiento en el escenario real.

Analizamos los efectos de la radiación en los sensores de las cámaras y el ruido resultante en las imágenes, examinando su impacto en la precisión del modelo. Este análisis introdujo el concepto de mantenimiento predictivo, identificando los niveles de ruido en los que el rendimiento del modelo se deteriora significativamente, ofreciendo información sobre cuándo el sistema podrı́a necesitar intervención.

Finalmente, se realizó con éxito una prueba de agarre robótico utilizando la implementación del sistema y los modelos ajustados, demostrando la utilidad de esta tecnologı́a para tareas de agarre y manipulación robótica.

In this work, we present the implementation of a system based on convolutional neural networks (CNN) for the localization and pose estimation of objects from RGB images, applicable in real environments for robotic grasping, considering the specific conditions of the IFMIF-DONES project. A comprehensive study of state-of-the-art architectures was conducted to select the most suitable topology for this task, as well as a review of commonly used datasets and metrics, for performance evaluation and comparison.

We developed a methodology that leverages simulation environments to generate randomized synthetic RGB images and ground truth data using CAD models provided by the IFMIF-DONES RH laboratory. These environments facilitated the generation of a significant amount of training data, reducing the reliance on hard to obtain real-world data in early stages. The system was deployed and integrated with other technologies in a real scenario, where it was employed for real-world data collection and processing images of a physical 3D-printed mockup derived from one of the CAD models.

The system’s performance was evaluated using standard pose estimation metrics, using alternative technologies for comparison, such as the Vicon motion capture system. The model demonstrated difficulties transitioning to real scenario, especially for the low definition camera used to simulate the poor image quality provided by rad-hard cameras. Additionally, improvements were made to the model based on data collected in the real-world laboratory setup, achieving satisfactory results and performance improvements in the real scenario.

We analyzed the effects of radiation on camera sensors and the resulting noise in the images, examining its impact on model accuracy. This analysis introduced the concept of predictive maintenance, identifying the noise levels at which the model’s performance significantly deteriorates, offering insights into when the system may require intervention.

Lastly, a successful robotic grasping test was carried out utilizing the system’s implementation and tuned models, proving the usefulness of this technology for robotic grasping & handling tasks.