MonuMAI: Dataset, deep learning pipeline and citizen science based app for monumental heritage taxonomy and classification

Abstract

El artículo presenta el marco MonuMAI (Monumentos, Matemáticas e Inteligencia Artificial), centrado en abordar los retos que plantea el análisis de la información visual de las fachadas de monumentos relacionados con la historia del arte. El objetivo es identificar automáticamente estilos arquitectónicos y detectar elementos arquitectónicos en monumentos mediante una canalización de aprendizaje profundo, concretamente el modelo MonuMAI-KED. El marco incluye un rico conjunto de datos con conocimiento experto, una arquitectura MonuNet ligera para la clasificación de estilos y una app móvil para la aplicación en la vida real. Los resultados experimentales demuestran la eficacia tanto de la arquitectura como del modelo de detección en condiciones prácticas, mostrando un potencial significativo para mejorar el conocimiento en arte e historia.

The paper introduces the MonuMAI (Monument with Mathematics and Artificial Intelligence) framework, focusing on addressing challenges in analyzing visual information on monument facades related to art history. The goal is to automatically identify architectural styles and detect architectural elements in monuments through a deep learning pipeline, specifically the MonuMAI-KED model. The framework includes a rich dataset with expert knowledge, a lightweight MonuNet architecture for style classification, and a mobile app for real-life application. Experimental results demonstrate the effectiveness of both the architecture and the detection model in practical conditions, showcasing significant potential for improving knowledge in art and history.