面向病理图像分类的文本引导基础模型适配
计算机视觉与模式识别
2023-07-28 v1 人工智能
摘要
近期计算机视觉与自然语言处理中基础模型的兴起，为利用多模态临床数据训练具有强泛化能力的大模型提供了前景。然而病理图像数据集往往缺乏生物医学文本标注与 enrichment。利用生物医学文本知识引导数据高效的影像诊断成为重要关注点。本文中，我们提出连接图像与文本嵌入（CITE）以增强病理图像分类。CITE注入从广泛生物医学文本预训练的语言模型获得的文本洞见，从而将基础模型适配于病理图像理解。通过在PatchGastric胃肿瘤病理图像数据集上的大量实验，我们证明CITE相较于多种基线取得领先性能，尤其在训练数据稀缺时。CITE为利用领域内文本知识强化数据高效病理图像分类提供了洞见。代码见 https://github.com/Yunkun-Zhang/CITE。
引用
@article{arxiv.2307.14901,
title = {Text-guided Foundation Model Adaptation for Pathological Image Classification},
author = {Yunkun Zhang and Jin Gao and Mu Zhou and Xiaosong Wang and Yu Qiao and Shaoting Zhang and Dequan Wang},
journal= {arXiv preprint arXiv:2307.14901},
year = {2023}
}
备注
Accepted to MICCAI2023