SAM-UNet: a new model for medical image segmentation

Abstract

Early detection and assessment of polyps are crucial in the prevention and treatment of colorectal cancer (CRC). Accurate polyp segmentation assists clinicians by precisely locating and delineating polyp regions. However, automatic image detection of colonic polyps presents significant challenges due to the considerable variation in polyp shape, texture, size, and color, coupled with the presence of various polyp-like mimics during colonoscopy. In this research, we address these challenges by leveraging advanced artificial intelligence (AI) techniques for polyp detection. We propose SAM-UNet, a novel model based on the Segment Anything Model (SAM), specifically designed to enhance polyp detection. This model transcends the limitations of traditional bounding box prompts by employing coarse mask prompts, providing more detailed and precise annotations. Additionally, we introduce a lightweight decoder inspired by the U-Net architecture, aimed at reducing computational demands while maintaining high accuracy. Furthermore, our study investigates other models based on U-Net and its variants. These lightweight models are meticulously evaluated for their effectiveness and efficiency, ensur- ing robust performance across diverse clinical scenarios. This comprehensive investiga- tion aims to improve the adaptability and operational efficiency of segmentation models in real-world medical imaging applications, ultimately contributing to enhanced clinical outcomes in CRC prevention and treatment. Upon comparing the performance of these models, we observed notable outcomes. The SAM-UNet model, by using only a few training images, achieved an Intersection over Union (IoU) of 0.60 and a Dice coefficient of 0.74. This indicates a respectable level of accuracy demonstrating the model’s effectiveness with limited training data. Among the U-Net variants, which utilized the entire dataset for training, the U-Net3+ model exhibited superior performance, achieving an IoU of 0.81 and a Dice coefficient of 0.90. This highlights its advanced capability in accurately segmenting polyp regions, providing higher precision compared to SAM-UNet and other U-Net variants.

La détection précoce et l’évaluation des polypes sont cruciales dans la prévention et le traitement du cancer colorectal (CRC). Une segmentation précise des polypes aide les cliniciens en localisant et en délimitant précisément les régions des polypes. Cependant, la détection automatique des polypes coliques présente des défis significatifs en raison de la variation considérable de la forme, de la texture, de la taille et de la couleur des polypes, ainsi que de la présence de divers mimétiques de polypes lors de la coloscopie. Dans cette recherche, nous abordons ces défis en exploitant des techniques avancées d’in- telligence artificielle (IA) pour la détection des polypes. Nous proposons SAM-UNet, un nouveau modèle basé sur le Segment Anything Model (SAM), spécialement conçu pour améliorer la détection des polypes. Ce modèle transcende les limites des prompts de boîte englobante traditionnels en utilisant des prompts de masque grossier, fournissant des an- notations plus détaillées et précises. De plus, nous introduisons un décodeur léger inspiré de l’architecture U-Net, visant à réduire les exigences computationnelles tout en mainte- nant une haute précision. En outre, notre étude examine d’autres modèles basés sur U-Net et ses variantes. Ces mo- dèles légers sont méticuleusement évalués pour leur efficacité et leur efficience, garantissant une performance robuste dans divers scénarios cliniques. Cette investigation complète vise à améliorer l’adaptabilité et l’efficacité opérationnelle des modèles de segmentation dans les applications d’imagerie médicale du monde réel, contribuant finalement à de meilleurs résultats cliniques dans la prévention et le traitement du CRC. En comparant les performances de ces modèles, nous avons observé des résultats notables. Le modèle SAM-UNet, en utilisant seulement quelques images d’entraînement, a atteint un Intersection over Union (IoU) de 0.60 et un coefficient de Dice de 0.74. Cela indique un niveau de précision respectable démontrant l’efficacité du modèle avec un ensemble de données d’entraînement limité. Parmi les variantes de U-Net, qui ont utilisé l’ensemble complet de données pour l’entraînement, le modèle U-Net3+ a exhibé des performances