MedSAD-CLIP：基于Token-Patch Cross-Attention的监督式CLIP医学异常检测与分割
计算机视觉与模式识别
2026-03-19 v1
摘要
医学异常检测（MAD）和分割在通过识别医学图像中的异常区域并定位病理区域来辅助临床诊断中发挥着关键作用。最近基于CLIP的研究在零/少样本设置下表现前景，通常依赖全局表征和弱监督，常产生粗糙的局化和有限的分割质量。本文在实际临床场景下研究CLIP的监督式适应，以获得有限但有意义的标记异常数据。我们的方法MedSAD-CLIP通过Token-Patch Cross-Attention（TPCA）利用细粒度文本-视觉线索改善病灶局化，同时保持CLIP表征的泛化能力。轻量级图像适配器和可学习的提示标记有效地将预训练的CLIP编码器适配到医学领域，同时保持其丰富的语义对齐。此外，设计了基于边际的图像-文本对比损失以增强正常与异常表征之间的全局特征判别能力。广泛的实验在四个多样化基准——脑部、视网膜、肺部和乳腺数据集上表明，我们的方法在像素级分割和图像级分类方面均优于最先进的方法。我们的结果突显了监督式CLIP适应作为统一且可扩展的医学异常理解范式的潜力。代码将在https://github.com/thuy4tbn99/MedSAD-CLIP公开。
引用
@article{arxiv.2603.17325,
title = {MedSAD-CLIP: Supervised CLIP with Token-Patch Cross-Attention for Medical Anomaly Detection and Segmentation},
author = {Thuy Truong Tran and Minh Kha Do and Phuc Nguyen Duy and Min Hun Lee},
journal= {arXiv preprint arXiv:2603.17325},
year = {2026}
}