从 SAM 到 DINOv2：面向广义肠道息肉分割的轻量基线模型蒸馏
计算机视觉与模式识别
2025-12-11 v1
摘要
准确的结肠镜息肉分割对于早期结直肠癌检测至关重要，但由于尺寸、形状和颜色差异大、息肉隐蔽等因素，仍然具有挑战性。虽然U-Net、U-Net++和PraNet等轻量基线模型在部署便捷和计算成本低方面具有优势，但面临上述问题，导致分割性能受限。相比之下，SAM、DINOv2、OneFormer和Mask2Former等大规模视觉基础模型在自然图像领域展现出卓越的泛化性能。然而，这些模型直接迁移到医学影像任务（如结肠镜息肉分割）并不直接可行，主要由于大规模数据集的稀缺和缺乏领域特定知识。为弥合这一差距，我们提出一种新颖的蒸馏框架Polyp-DiFoM，将基础模型的丰富表征传递到轻量分割基线模型中，实现在临床环境中高效且准确的部署。具体而言，我们将基础模型中的语义先验注入到U-Net和U-Net++等标准架构中，并进行频域编码以增强蒸馏效果，证明其泛化能力。我们在五个基准数据集上进行大量实验，包括Kvasir-SEG、CVC-ClinicDB、ETIS、ColonDB和CVC-300。值得注意的是，Polyp-DiFoM显著优于相应的基线模型和最先进的模型，计算开销近乎减少9倍。代码已公开于https://github.com/lostinrepo/PolypDiFoM。
引用
@article{arxiv.2512.09307,
title = {From SAM to DINOv2: Towards Distilling Foundation Models to Lightweight Baselines for Generalized Polyp Segmentation},
author = {Shivanshu Agnihotri and Snehashis Majhi and Deepak Ranjan Nayak and Debesh Jha},
journal= {arXiv preprint arXiv:2512.09307},
year = {2025}
}