Machine Learning approaches for Topic and Sentiment Analysis in multilingual opinions and low-resource languages: From English to Guarani

Abstract

This dissertation has focused on the study of machine learning techniques for sentiment analysis and topic modeling in texts from social media. It puts a special emphasis on approaches and methods for handling low-resource languages, i.e., languages lacking large monolingual or parallel corpora and/or manually elaborated linguistic resources sufficient for building Natural Language Processing (NLP) applications; and the implementation of these approaches and methods to multilingual scenarios, such code-switching (i.e., alternating between two or more languages or varieties of language in a phrase or word). First, we presented a data science workflow to perform machine learning models for social media texts written in low-resource languages, even if these suffer code-switching. The workflow proposed is able to handle different difficulties for the purpose at hand (such as, for example, web text collection, dealing with unbalanced classes, or implementing crosslingual models). In the following, we described how to build machine learning models to perform topic modeling with large data coming from social media with short texts written in Spanish, as well as a number of sentiment analysis related tasks for Guarani (a South American indigenous language) and Jopara (i.e., Guarani-Spanish mixture), namely polarity classification, emotion recognition, humor detection, and offensive and toxic language identification. Emphasis was also placed on noisy and short texts coming from social media. Experiments with the corpora created and the evaluation of the machine learning models built, show the robustness of the approaches and methods proposed in this dissertation, in monolingual, multilingual, and code-switching settings. The contributions presented in this dissertation may be useful both for the Spanishspeaking community and the Guarani-speaking community. There are many use cases in different areas and disciplines that can benefit from the insights created by the approaches we presented in this thesis. Therefore, there are a number of possible applications for the democratization of low-resource languages, such as the ability to perform less biased monitoring of social networks in multilingual environments or the capacity to extract automatically the knowledge available in non-dominant languages.

Esta tesis se ha centrado en el estudio de técnicas de aprendizaje automático para el análisis de sentimientos y el modelado de temas en textos procedentes de medios sociales. Se ha puesto un énfasis especial en los enfoques y métodos para el manejo de idiomas conocidos como low-resource, es decir, lenguas que carecen de grandes corpus monolingües o paralelos y/o de recursos lingüísticos elaborados manualmente suficientes para construir aplicaciones de Procesamiento del Lenguaje Natural (PLN); y en la aplicación de estos enfoques y métodos en escenarios multilingües, como el code-switching (es decir, alternar dos o más lenguas o variedades lingüísticas en una frase o palabra). Por un lado, introdujimos un flujo de trabajo de ciencia de datos para llevar a cabo modelos de aprendizaje automático para textos provenientes de medios sociales y escritos en idiomas low-resource, incluso si estos presentan code-switching. Este flujo de trabajo es capaz de lidiar con diferentes dificultades presentes en este ámbito (como, por ejemplo, la colección de texto en la web, el tratamiento de clases con ejemplos desequilibrados o la implementación de modelos multilingües). Por otra parte, describimos cómo construir modelos de aprendizaje automático para realizar modelado de temas con datos masivos provenientes de medios sociales, con textos cortos en español, así como una serie de tareas para el análisis de sentimientos en guaraní (una lengua indígena sudamericana) y jopara (es decir, la mezcla del guaraní con el español), a saber, la clasificación de polaridad, el reconocimiento de emociones, la detección de humor y la identificación de lenguaje ofensivo y toxico, también con énfasis en los textos cortos y gramaticalmente pobres provenientes de las redes sociales. Los experimentos con los corpus creados y la evaluación de los modelos de aprendizaje automático construidos, muestran la robustez de los enfoques y métodos propuestos en esta tesis, tanto en entornos monolingües y multilingües, como de code-switching. Las aportaciones presentadas en esta tesis pueden ser útiles tanto para la comunidad hispanohablante como para la comunidad guaraní-hablante. Hay muchos casos de uso en diferentes áreas y disciplinas que pueden beneficiarse de las ideas creadas por los enfoques que proponemos aquí. Por lo tanto, existen una serie de posibles aplicaciones para la democratización de las lenguas de bajo recursos, como la capacidad de realizar un seguimiento menos sesgado de las redes sociales en entornos multilingües o la capacidad de extraer automáticamente el conocimiento disponible en los idiomas no dominantes.