Segmentation of organs at risk in CT images of chest cavity

Abstract

In the last decade, deep learning algorithms have significantly advanced the field of medical image analysis, particularly in the segmentation of anatomical structures. Currently, deep neural network-based segmentation systems are capable of addressing almost any segmentation task in medical imaging across various modalities, demon- strating remarkable reliability and efficiency. However, despite the substantial benefits of deep learning over traditional segmentation techniques, it faces certain challenges and limitations. The reliance on data-driven approaches means that the performance of these networks heavily depends on the training data’s characteristics. A notable limitation within medical datasets is their constrained size and the lack of sufficient variability in samples, potentially failing to cover all possible physiological conditions. Such constraints lead to overfitting, where the machine learning model overly spe- cializes on the idiosyncrasies of the training data, failing to generalize to the broader population, leading to reduced model performance at the inference stage. In order to address this, implementing various strategies to mitigate overfitting is crucial, aiming to increase the model’s generalizability and accuracy. This thesis focuses on the development of a deep learning-based segmentation system for identifying organs at risk within the thoracic cavity. Considering the limitations posed by the small size of the considered dataset, this research investigate innovative and effective methodologies to prevent model overfitting. Through this focus, the thesis contributes to enhancing the robustness and applicability of deep learning models in the critical area of medical image segmentation, offering potential improvements in diagnostic accuracy and patient care. The research is methodically divided into three main areas, each incorporating advanced methodologies to prevent overfitting and improve model performance. The first study introduces a novel consistency regularization technique characterized by training two structurally identical neural networks with different weight coefficient initializations in a fully supervised task. The consistency loss is calculated based on pseudo-labels, which are the predictions made by one model for the other and vice versa. Additionally, this research evaluates the beneficial effect of employing an exponential moving average in generating pseudo-labels. The subsequent study focude on development of a novel neural network architec- ture, embodying a U-Net-like structure with custom self-attention blocks that utilize cosine similarity for computing attention maps. The core concept was to combine local and global context processing by fusing convolutional layers with self-attention blocks and refining the self-attention block architecture to optimize model accuracy, while ensuring adequate resources consumption and high speed performance. Integrating this novel architecture with consistency regularization succeeded in achieving a state-of-the-art level performance, surpassing all previously published methods for the trachea and aorta. The final investigation explored the generalization capabilities of foundation seg- mentation model called Segment Anything Model. This study focused on several tasks, including automating Segment Anything Model through its integration with an object detection model to generate visual prompts automatically, eliminating manual prompting. The performance of the automated segmentation model was evaluated in a zero-shot setting for the segmentation of organs at risk, and a method for end-to-end fine-tuning of the combined foundation model with the object detector was developed, focusing solely on optimizing the model’s segmentation head. The experiments demon- strated relatively favorable outcomes, though the performance level of the custom U-Net -like architecture with consistency regularization wasn’t reached. Nonetheless, these results provide valuable insights, outlining the direction for future research in this domain. In summary, this thesis delineates the effectiveness of deep learning methodologies in the domain of medical image segmentation, particularly focusing on the segmen- tation of organs at risk within the thoracic cavity. It brings to light the difficulties encountered in training deep neural networks on limited datasets and proposes inno- vative techniques for network regularization and the mitigation of overfitting. The proposed methods significantly improve the accuracy of segmentation in CT imagery. Furthermore, the thesis acknowledges ongoing challenges and gaps in the current state of research, providing a roadmap for future investigations and potential enhancements to the introduced methods. The outcomes of this research are poised to contribute significantly to the advancement of organ segmentation tasks, including organs at risk segmentation. It aims to move the field closer towards achieving a segmentation quality that enables accurate and precise localization of organs at risk, thus contributing to the saving of patient lives and well-being.

El cáncer sigue siendo una de las principales causas de mortalidad en todo el mundo, con el cáncer de pulmón caracterizado por las tasas de supervivencia más bajas entre todos los tipos de cáncer. Entre las modalidades de tratamiento actuales para el cáncer de pulmón, la cirugía, la quimioterapia y la radioterapia siguen siendo los enfoques más comunes. Cada uno de estos métodos, a pesar de su efectividad, conlleva amenazas y riesgos inherentes, ya que a menudo es desafiante dirigirse a las células cancerosas sin afectar el tejido sano circundante. Sin embargo, en tratamientos dirigidos como la radioterapia, es posible minimizar los efectos nocivos del tratamiento mediante la localización precisa de los tejidos afectados, separándolos de las estructuras sanas críticas cercanas, conocidas como órganos en riesgo (OER). La segmentación precisa de estos órganos es sumamente importante, ya que im- pacta directamente en la planificación del tratamiento, la calibración de las dosis terapéuticas y la mitigación de los efectos secundarios inducidos por la radiación. Las metodologías tradicionales, que dependen en gran medida de la delineación manual por expertos clínicos, se caracterizan por problemas como la alta demanda de tiempo, la subjetividad de las anotaciones y la posibilidad de error humano. Estas complica- ciones subrayan una necesidad urgente de un cambio de paradigma y el desarrollo de métodos innovadores para distinguir los órganos sanos de las regiones afectadas. La automatización del proceso de segmentación y la aplicación de enfoques de vanguardia para el procesamiento y análisis automático de imágenes médicas deberían abordar completamente esta tarea. Una amplia gama de metodologías podría resolver esta tarea, pero las más prometedoras entre ellas son sistemas basados en redes neuronales profundas, superando la mayoría de las metodologías tradicionales. La evolución de las tecnologías de aprendizaje profundo ha marcado una nueva era en la visualización médica, ofreciendo un potencial transformador en precisión, eficien- cia y reproducibilidad. Estos sistemas, caracterizados por su capacidad para aprender de grandes conjuntos de datos e identificar patrones complejos, han demostrado un éxito notable en diversas aplicaciones de imágenes médicas, revelando oportunidades sin precedentes para mejorar los procesos de segmentación de órganos. Sin embargo, lograr altos niveles de precisión y robustez se vuelve desafiante con conjuntos de datos médicos limitados en tamaño. La dificultad para compilar grandes conjuntos de datos de imágenes médicas se ve agravada por la necesidad de equipos especializados y costosos, consentimiento del paciente, la presencia de condiciones diagnosticadas específicas y anotaciones de expertos, haciendo que muchos conjuntos de datos médicos sean relativamente pequeños, lo que hace necesario el desarrollo de métodos de aprendizaje profundo especializados capaces de generalizar bien en pequeños conjuntos de datos. Esta investigación se basa en la interconexión entre esta necesidad crítica y el po- tencial tecnológico. La motivación se deriva de la necesidad de superar las limitaciones de entrenar modelos de segmentación en pequeños conjuntos de datos, aprovechan- do todas las ventajas y el poder de los modelos de aprendizaje profundo. El estudio propuesto tiene como objetivo desarrollar y validar enfoques de aprendizaje profundo robustos y eficientes diseñados específicamente para segmentar órganos en riesgo en imágenes de tomografía computarizada (TC) de la cavidad torácica, esforzándose por mejorar la precisión y la fiabilidad de la planificación de la radioterapia. Las implicaciones de esta investigación son diversas y se extienden más allá del alcance inmediato de la radioterapia y la segmentación de órganos en riesgo. Dado que una parte significativa de los conjuntos de datos de imágenes médicas está limitada en tamaño y variabilidad, lo que lleva al sobreajuste del modelo, el estudio tiene como objetivo hacer contribuciones sustanciales al campo más amplio de la imagen médica. Al desarrollar nuevas arquitecturas, métodos de regularización y aprovechando el potencial de los modelos fundamentales, se espera que esta investigación estimule in- vestigaciones adicionales, alentando el desarrollo de métodos novedosos para entrenar eficientemente modelos de aprendizaje profundo en pequeños conjuntos de datos, a pesar de las limitaciones de los recursos disponibles.