基于混合 YOLO-SAM 2 模型的结肠镜自提示多肠息肉分割
图像与视频处理
2024-09-17 v1 计算机视觉与模式识别
机器学习
摘要
在结肠镜中对 polyps 进行早期诊断和治疗对于减少 Colorectal Cancer (CRC) 的发生和死亡率至关重要。然而，polyp characteristics 的变异性以及结肠镜图像和视频中存在的 artifacts 给准确和高效的 polyp detection and segmentation 带来了显著挑战。本文提出了一种新方法，通过整合 Segment Anything Model (SAM 2) 与 YOLOv8 model 来实现 polyp segmentation。我们的方法利用 YOLOv8 的边界框预测来自主生成 SAM 2 的输入 prompts，从而减少了对 manual annotations 的需求。我们在五个基准结肠镜图像数据集和两个结肠镜视频数据集上进行了 exhaustive 测试，结果表明我们的方法在图像和视频分割任务中超越了 state-of-the-art 模型。值得注意的是，我们的方法仅使用边界框 annotations 即可实现高精度的分割，显著减少了 annotation 时间和 effort。这一进展为提高临床环境中 polyp detection 的 efficiency 和 scalability 提供了可能。
引用
@article{arxiv.2409.09484,
title = {Self-Prompting Polyp Segmentation in Colonoscopy using Hybrid Yolo-SAM 2 Model},
author = {Mobina Mansoori and Sajjad Shahabodini and Jamshid Abouei and Konstantinos N. Plataniotis and Arash Mohammadi},
journal= {arXiv preprint arXiv:2409.09484},
year = {2024}
}