利用DINOv3自监督特征实现稳健的少样本医学图像分割
计算机视觉与模式识别
2026-01-14 v1 计算工程、金融与科学
计算与语言
摘要
深度学习基于的自动医学图像分割在临床诊断和治疗规划中发挥着关键作用，但在样本稀缺的少样本场景中仍具有挑战性。最近，类似DINOv3这样的自监督基础模型（在大规模自然图像数据集上训练）显示出强大的稠密特征提取潜力，有助于解决少样本学习挑战。然而，其直接应用于医学图像受限于域间差异。在本工作中，我们提出DINO-AugSeg框架，利用DINOv3特征应对少样本医学图像分割挑战。具体而言，我们引入WT-Aug模块，通过扰动频率成分来丰富DINOv3提取特征的多样性；并提出CG-Fuse模块，通过跨注意力集成语义丰富的低分辨率特征与空间细节丰富的高分辨率特征。在覆盖MRI、CT、超声、内镜和皮肤热像图等五种成像模态的六个公开基准测试上进行的广泛实验表明，DINO-AugSeg在有限样本条件下 consistently 优于现有方法。结果凸显了在鲁棒特征表示中引入小波域数据增强和上下文融合的有效性，表明DINO-AugSeg是推动少样本医学图像分割的有前景的方向。代码和数据将在 https://github.com/apple1986/DINO-AugSeg 上提供。
引用
@article{arxiv.2601.08078,
title = {Exploiting DINOv3-Based Self-Supervised Features for Robust Few-Shot Medical Image Segmentation},
author = {Guoping Xu and Jayaram K. Udupa and Weiguo Lu and You Zhang},
journal= {arXiv preprint arXiv:2601.08078},
year = {2026}
}
备注
36 pages, 11 figures