CARZero：用于放射学零样本分类的交叉注意力对齐
计算机视觉与模式识别
2024-03-26 v2
摘要
医学领域零样本学习（Zero-Shot Learning）的进步得益于在大规模图像 - 文本对上进行预训练的模型，其重点在于图像 - 文本对齐。然而，现有方法主要依赖余弦相似度进行对齐，这可能无法完全捕捉医学图像与报告之间的复杂关系。为弥补这一差距，我们提出了一种名为“用于放射学零样本分类的交叉注意力对齐”（CARZero）的新方法。该方法创新性地利用交叉注意力机制处理图像和报告特征，构建出一种能更准确反映医学语义中复杂关系的相似度表示。随后，该表示通过线性投影形成用于跨模态对齐的图像 - 文本相似度矩阵。此外，认识到提示选择（prompt selection）在零样本学习中的关键作用，CARZero Incorporates 了一种基于大语言模型（Large Language Model）的提示对齐策略。该策略将多样化的诊断表达标准化为统一格式，适用于训练和推理阶段，从而克服了手动设计提示的挑战。我们的方法简单而有效，在五个官方胸部 X 光诊断测试集上的零样本分类任务中展示了最先进的性能，包括在具有长尾分布的罕见疾病数据集上取得的显著成果。这一成就归功于我们新的图像 - 文本对齐策略，它有效地解决了医学图像与报告之间的复杂关系问题。代码和模型可在 https://github.com/laihaoran/CARZero 获取。
引用
@article{arxiv.2402.17417,
title = {CARZero: Cross-Attention Alignment for Radiology Zero-Shot Classification},
author = {Haoran Lai and Qingsong Yao and Zihang Jiang and Rongsheng Wang and Zhiyang He and Xiaodong Tao and S. Kevin Zhou},
journal= {arXiv preprint arXiv:2402.17417},
year = {2024}
}