疾病信息引导的视觉语言模型适应
计算机视觉与模式识别
2024-05-27 v1
摘要
在医学图像分析中，专家稀缺和高昂的数据标注成本限制了大型人工智能模型的发展。本文研究了预训练视觉语言模型(VLM)在该领域迁移学习的潜力。目前，VLM仍难以迁移到预训练数据集中出现极少或完全缺失的罕见疾病。我们认为，VLM的有效适应取决于疾病概念的细粒度表示学习。通过利用VLM的联合视觉-语言能力，我们在一种新颖的疾病原型学习框架中引入了疾病信息上下文提示。这种方法使VLM能够有效且高效地掌握新疾病的概念，即使数据有限。跨多种图像模态的大量实验表明，与现有技术相比，性能有显著提升。
引用
@article{arxiv.2405.15728,
title = {Disease-informed Adaptation of Vision-Language Models},
author = {Jiajin Zhang and Ge Wang and Mannudeep K. Kalra and Pingkun Yan},
journal= {arXiv preprint arXiv:2405.15728},
year = {2024}
}
备注
Early Accepted by MICCAI 2024