UltraAD：基于少量样本 CLIP 适应的超声异常细粒度分类
计算机视觉与模式识别
2025-08-12 v2
摘要
医学图像中精确的异常检测对于临床决策至关重要。虽然最近的无监督或半监督异常检测方法在大规模正常数据上训练显示出有前景的效果，但它们缺乏细粒度区分能力，如良性与恶性肿瘤。此外，超声 (US) 成像对设备和获取参数变化极其敏感，在所得 US 图像中造成显著的域间差异。为此，我们提出 UltraAD，一种基于视觉语言模型 (VLM) 的方法，利用少量 US 示例实现通用异常局部化和细粒度分类。为增强局部化性能，将查询视觉原型的图像级标记与可学习文本嵌入融合。该图像感知提示特征随后进一步与 patch 级标记集成，细化局部表示以提高准确率。对于细粒度分类，构建包含少量图像样本及其对应文本描述的记忆库，捕获解剖和异常特异特征。在训练期间，存储的文本嵌入保持冻结状态，而图像特征适应以更好地与医学数据对齐。UltraAD 在三个乳腺 US 数据集上进行了广泛评估，在肿瘤局部化和细粒度医学分类方面均优于最先进的方法。代码将在接受后公开。
引用
@article{arxiv.2506.19694,
title = {UltraAD: Fine-Grained Ultrasound Anomaly Classification via Few-Shot CLIP Adaptation},
author = {Yue Zhou and Yuan Bi and Wenjuan Tong and Wei Wang and Nassir Navab and Zhongliang Jiang},
journal= {arXiv preprint arXiv:2506.19694},
year = {2025}
}