Deep learning and natural language processing in heterogeneous sources of massive data

Abstract

Aunque los recientes avances en modelos lingüísticos y representaciones multimodales permiten mejorar la comprensión y la inferencia desde el punto de vista semántico, la eficacia general de las aplicaciones con restricciones sigue estando limitada por los datos distribuidos y no homogeneizados, normalmente procedentes de fuentes de datos heterogéneas. Esta tesis se centra en los retos y oportunidades en el desarrollo de modelos de procesamiento del lenguaje natural para aplicaciones de dominio específico que implican el manejo de fuentes de datos heterogéneas y restricciones de usuario. La tesis demuestra que las relaciones semánticas aprendidas mediante modelos lingüísticos pueden aplicarse con éxito a tareas como la adaptación personalizada de contenidos. Además, se demuestra que la integración de grafos de conocimiento y variables lingüísticas mejora la interpretabilidad por parte del usuario y la personalización en el usuario en entornos personalizados.

Although recent advances in language models and multimodal representations enable improved semantic understanding and inference, the overall effectiveness of constrained applications remains limited by distributed and non-homogeneous data from heterogeneous data sources. This thesis investigates the challenges and opportunities in developing natural language processing (NLP) models for domain-specific applications involving heterogeneous data sources and user constraints. The thesis demonstrates that semantic relationships learned through language models can be successfully applied to tasks such as personalised content adaptation. Additionally, the integration of knowledge graphs and linguistic variables is shown to enhance understandability and user-centred recommendation in personalised environments.