Probabilistic Methods for Image and Signal Classification. Applications to Medicine and Volcanology

Abstract

Probabilistic methods have achieved empirical success in many predictive modeling and inference tasks. Prominent among probabilistic classifiers are Gaussian Processes (GPs). They are popular because of their expressiveness and the possibility of introducing prior beliefs. They use (probabilistic) uncertainty in modeling and inference. However, GPs can not easily estimate complex functions with stationary kernels. To overcome this limitation, Deep Gaussian Processes (DGPs) arise as their hierarchical extension. They combine the complexity of deep models while retaining the advantages of GPs. Many areas of study take advantage of these models to solve decision-making problems. This thesis proposes and studies probabilistic methods based on GPs and DGPs for classification problems which range from supervised to weakly supervised ones. The studied models cover realistic annotation scenarios: an expert provides labels for all samples, an expert provides only label for bags of samples, and finally, multiple expert and nonexpert participants provide annotations, which may not agree. The data utilized in this thesis come from: volcanology, where we have access to fully annotated data sets, histology, where to alleviate the annotation task, several medical students are asked to annotate the images and computerized tomography, where annotations are provided at scan but not slide level. We find that probabilistic models based on GPs and DGPs outperform state-of-the-art Deep Learning models for these problems.

Los métodos probabilísticos han logrado un gran éxito experimental en muchas tareas de modelado predictivo. Entre los clasificadores probabilísticos destacan los Procesos Gaussianos (GP), los cuales son populares por su expresividad, la posibilidad de introducir conocimiento previo y utilizar la estimación de la incertidumbre en el modelado y la inferencia. Sin embargo, los GPs no pueden estimar fácilmente funciones complejas con núcleos estacionarios. Para superar esta limitación, surgen los Procesos Gaussianos Profundos (DGP) como su extensión jerárquica, combinando la complejidad de los modelos profundos a la vez que conservan las ventajas de los GPs. Muchas áreas de estudio pueden aprovechar estos modelos para afrontar problemas de toma de decisiones. Esta tesis propone y estudia métodos probabilísticos basados en GPs y DGPs para problemas de clasificación que van desde los supervisados hasta los débilmente supervisados. Los modelos estudiados cubren escenarios realistas de anotación: un experto proporciona etiquetas para todas las muestras (aprendizaje supervisado), un experto proporciona sólo etiquetas para bolsas de muestras (Multiple Instance Learning), y finalmente, múltiples participantes expertos y no expertos proporcionan anotaciones, las cuales pueden no coincidir (crowdsourcing). Las aplicaciones vistas en esta tesis son: vulcanología, donde hemos tenido acceso a conjuntos de datos totalmente anotados por un experto, histología, donde para aliviar la tarea de anotación se ha pedido a varios estudiantes de medicina que anoten las imágenes, y detección de hemorragias en imágenes de tomografía computarizada, donde las anotaciones se han proporcionado a nivel de escáner pero no de diapositiva. Finalmente, concluimos que los modelos probabilísticos basados en GPs y DGPs superan los resultados obtenidos por los modelos de Deep Learning en el estado del arte para estos problemas.