Towards an Open Source Intelligence and Machine Learning-Based Platform for Automation in Disaster Management Situational Awareness Reporting

Abstract

Esta tesis doctoral presenta el desarrollo de una plataforma modular basada en aprendizaje automático para la Inteligencia de Fuentes Abiertas (OSINT) destinada a la generación automatizada de informes de conciencia situacional en la gestión de desastres. A través de tres estudios progresivos, la investigación demuestra cómo implementar una plataforma escalable para analizar datos de microblogs mediante la combinación de detección de eventos, clusterización, clasificación zero-shot, generación aumentada por recuperación (RAG) y grafos de conocimiento. El primer estudio establece la base metodológica para la detección automatizada de eventos utilizando SimHash para la agrupación de mensajes similares y extracción de características mediante TF-IDF para identificar contenido relevante en datos heterogéneos. El segundo estudio mejora este enfoque implementando incrustación de frases con detección de comunidades para lograr una agrupación semántica más precisa e integrando grafos de conocimiento para una mejor estructuración e interpretación de la información extraída. El tercer estudio culmina en un sistema OSINT completamente modular (ODET) que incorpora clasificación zero-shot y generación aumentada por recuperación dentro de una arquitectura basada en agentes, permitiendo una adaptación flexible a diversos escenarios de desastres. La evaluación mediante casos de estudio reales, incluyendo el huracán Harvey y el terremoto de Turquía de 2023, demuestra una alta alineación factual con fuentes de referencia (AlignScore hasta 89%) y confirma la viabilidad de implementación en diferentes entornos de hardware, desde servidores en la nube hasta equipos de consumo. Esta tesis contribuye significativamente al avance de la recopilación automatizada de inteligencia en situaciones de crisis, superando los desafíos tradicionales de los procesos OSINT manuales mediante una plataforma modular, eficiente y adaptable que mejora la velocidad y precisión de la conciencia situacional en la gestión de desastres.

This dissertation presents the development of a modular machine learning-based Open Source Intelligence (OSINT) platform for automated situational awareness reporting in disaster management. Through three progressive studies, the research demonstrates how a scalable system for analyzing microblogging data can be implemented by combining event detection, clustering, zero-shot classification, retrieval-augmented generation (RAG), and knowledge graphs. The first study establishes the methodological foundation for automated event detection using SimHash clustering and TF-IDF feature extraction. The second study enhances this approach by implementing sentence embedding with community detection for improved semantic grouping and integrating knowledge graphs for better structuring and interpretation of extracted information. The third study culminates in a fully modular OSINT system (ODET) that incorporates zero-shot classification and retrieval-augmented generation within an agent-based architecture, enabling flexible adaptation to various disaster scenarios. Evaluation through real-world case studies, including Hurricane Harvey and the 2023 Turkey earthquake, demonstrates high factual alignment with reference sources (AlignScore up to 89%) and confirms deployment feasibility across different hardware environments. The dissertation contributes to advancing automated intelligence gathering in crisis situations by overcoming traditional challenges of manual OSINT processes through an efficient, adaptable platform that enhances the speed and accuracy of situational awareness in disaster management.