A Hybrid UNet-GNN Architecture for Enhanced Medical Image Segmentation

Abstract

Accurate delineation of brain tumors from magnetic resonance imaging (MRI) data is crucial for effective treatment planning and disease monitoring. This thesis proposes a novel computational approach for brain tumor segmentation that combines the strengths of convolutional neural networks (CNNs) and graph neural networks (GNNs). The pro- posed hybrid model integrates a U-Net CNN architecture with GNNs to leverage their complementary capabilities, the U-Net’s skill in capturing local spatial patterns and the GNNs’ ability to model long-range dependencies and relational information. Extensive ex- periments on the BraTS 2020 brain tumor segmentation challenge datasets demonstrated the potential of the proposed methodology. Compared to the baseline U-Net model, the integration of GNNs yielded substantial improvements in segmentation accuracy, includ- ing a 2.63% increase in the Dice similarity coefficient for the whole tumor region, a 2.18% improvement for the tumor core, and an impressive 3.71% enhancement for delineating the enhancing tumor region. These results underscore the efficacy of combining CNN and GNN architectures to capitalize on their complementary strengths for advancing brain tumor image segmentation. The proposed approach provides a framework for precisely defining tumor boundaries and subregions, with respect computational resources enabling more accurate quantification and characterization of tumor morphology. This can ulti- mately aid clinical decision-making and treatment planning while contributing to ongoing efforts to develop robust, automated brain tumor segmentation techniques.

La délimitation précise des tumeurs cérébrales à partir des données d’imagerie par ré- sonance magnétique (IRM) est cruciale pour la planification efficace du traitement et le suivi de la maladie. Cette thèse propose une nouvelle approche computationnelle pour la segmentation des tumeurs cérébrales qui combine les forces des réseaux neuronaux convo- lutionnels (CNN) et des réseaux neuronaux graphiques (GNN). Le modèle hybride proposé intègre une architecture U-Net CNN avec des GNN afin de tirer parti de leurs capacités complémentaires : la capacité du U-Net à capturer les motifs spatiaux locaux et l’aptitude des GNN à modéliser les dépendances à longue portée et les informations relationnelles. Des expériences approfondies sur les ensembles de données du défi de segmentation des tumeurs cérébrales BraTS 2020 ont démontré le potentiel de la méthodologie proposée. Comparé au modèle U-Net de base, l’intégration des GNN a conduit à des améliora- tions substantielles de la précision de segmentation, incluant une augmentation de 2,63% du coefficient de similarité de Dice pour la région tumorale complète, une amélioration de 2,18% pour le noyau de la tumeur, et une impressionnante amélioration de 3,71% pour la délimitation de la région de la tumeur en rehaussement. Ces résultats soulignent l’efficacité de la combinaison des architectures CNN et GNN pour capitaliser sur leurs forces complémentaires afin de faire progresser la segmentation des images de tumeurs cérébrales. L’approche proposée fournit un cadre pour définir précisément les limites et les sous-régions des tumeurs, en utilisant les ressources computationnelles pour permet- tre une quantification et une caractérisation plus précises de la morphologie des tumeurs. Cela peut finalement aider à la prise de décisions cliniques et à la planification du traite- ment tout en contribuant aux efforts continus pour développer des techniques robustes et automatisées de segmentation des tumeurs cérébrales.