中文

从适应到泛化:医学图像分割的自适应视觉提示

计算机视觉与模式识别 2026-04-21 v1

摘要

视觉提示作为一种通过无需更新模型参数的方式将预训练模型适应到新领域的方法,近年来成为一种强大的技术。然而,现有提示方法通常为每个领域优化单个提示并对所有输入统一应用,限制了其在输入和领域内外变异性下的泛化能力,这在医学领域尤为关键。为此,我们提出 APEX,即自适应提示提取框架,通过从可学习的提示记忆中检索输入特定的提示。记忆存储多样且具有领域判别性的提示表示,并通过从傅里叶谱中提取的领域特征进行查询。为学习鲁棒且判别性的领域特征,我们引入一种新型低频特征对比学习框架,该框架聚类同一领域的表示并分离不同领域的表示。在两个医学分割任务上的大量实验表明,APEX 在_seen 和 _unseen 领域中均显著提升了泛化性能。此外,它能够与任何现有主干网络协同工作并持续提升性能,证明其作为医学领域 plug-and-play 提示解决方案的有效性。代码已公开于 https://github.com/cetinkayaevren/apex/。

关键词

引用

@article{arxiv.2604.17455,
  title  = {From Adaptation to Generalization: Adaptive Visual Prompting for Medical Image Segmentation},
  author = {Evren Çetinkaya and Sangmin Lee and Jung Uk Kim and Hong Joo Lee and Nassir Navab},
  journal= {arXiv preprint arXiv:2604.17455},
  year   = {2026}
}

备注

CVPR 2026 Findings