Preprocessing and ensemble approaches for singular problems: Monotonic and imbalanced classification

Abstract

This thesis focuses on two singular supervised problems: imbalanced classification and classification with monotonic constraints. This thesis aims to propose new solutions based on robust classifiers and preprocessing techniques for these two singular supervised problems. In essence, the main objective of this thesis is to design new solutions for these problems, both independently and together, and considering other singular data situations, such as the presence of class noise. As previously mentioned, these proposals follow two different approximations similar to the traditional approaches for singular problems: robust classifiers and preprocessing based techniques. These approaches aim at specific issues of imbalanced and monotonic classification: Design of robust classifiers for the singular problems of imbalanced and monotonic classification. This objective includes: -High levels of accuracy as well as monotonicity with a Random Forest classifier for monotonic classification. -Robust ensemble learning based on Switching according to the Nearest Enemy Distance (SwitchingNED) for highly imbalanced problems. -Great robustness to monotonic noise for monotonic classification with a Fuzzy kNN proposal aware to monotonic constraints and violations. Development of preprocessing-based techniques in imbalanced and monotonic classification. Within this paradigm, the following goals are enclosed: -To enhance the performance of SwitchingNED through its combination with different sampling techniques for imbalanced classification. -To mitigate the impact of skewed class distributions in problems with monotonic constraints thanks to new sampling techniques for monotonic imbalanced classification.

Esta tesis se centra en dos problemas supervisados singulares: clasificación desbalanceada y la clasificación con restricciones monotónicas. Esta tesis pretende proponer nuevas soluciones basadas en clasificadores robustos y técnicas de preprocesamiento para estos dos singulares problemas supervisados. En esencia, el objetivo principal de esta tesis es diseñar nuevas soluciones para dichos problemas, tanto de manera independiente como conjunta, y considerando otras situaciones singulares de datos, tales como la presencia de ruido. Como se ha mencionado anteriormente, estas propuestas siguen dos aproximaciones diferentes similares a los enfoques tradicionales para problemas singulares: clasificadores robustos y técnicas basadas en el preprocesamiento. Estas aproximaciones abordan cuestiones específicas de clasificación desequilibrada y la clasificación monotónica: Diseño de clasificadores robustos para los problemas singulares de clasificación desbalanceada y monotónica. Dicho objetivo incluye: -Altos niveles de precisión así como de monotonicidad con un clasificador Random Forest para la clasificación monotónica. -Robusto aprendizaje de ensembles basado en Switching según la distancia del enemigo más cercano (SwitchingNED) para problemas altamente desequilibrados. -Gran robustez al ruido monotónico para la clasificación monótona con una propuesta de Fuzzy kNN consciente de las restriciones y violaciones de monotonía. Desarrollo de técnicas basadas en preprocesamiento en clasificación desbalanceada y monotónica. Dentro de este paradigma, se incluyen las siguientes metas: -Mejorar el rendimiento de SwitchingNED mediante su combinación con diferentes téecnicas de muestreo para la clasificación altamente desequilibrada. -Mitigar el impacto de las distribuciones desequilibradas de clases en los problemas de restricciones monótonas gracias a nuevas técnicas de muestreo para la clasificación monótona desequilibrada.