增强放射学报告基础模型的表征能力：一种基于掩码对比学习的细粒度对齐算法
计算机视觉与模式识别
2024-09-05 v3
摘要
近年来，多模态视觉-语言基础模型在医学领域受到广泛关注。尽管这些模型带来了巨大机遇，但仍面临关键挑战，例如计算机辅助诊断中对细粒度知识理解的需求，以及在真实临床应用中利用极少甚至无任务特定标注数据的能力。在本研究中，我们提出 MaCo，一种掩码对比胸部 X 射线基础模型，以应对这些挑战。MaCo 探索掩码对比学习，同时实现细粒度图像理解与多种医学影像任务的零样本学习。它设计了一种相关性加权机制，以调整被掩码胸部 X 射线图像块与其对应报告之间的相关性，从而增强模型的表征学习能力。为评估 MaCo 的性能，我们使用 6 个知名开源 X 射线数据集进行了大量实验。实验结果表明，MaCo 在分类、分割、检测和短语定位等任务上优于 10 种最先进的方法。这些发现凸显了 MaCo 在推进广泛医学图像分析任务中的巨大潜力。
引用
@article{arxiv.2309.05904,
title = {Enhancing Representation in Radiography-Reports Foundation Model: A Granular Alignment Algorithm Using Masked Contrastive Learning},
author = {Weijian Huang and Cheng Li and Hong-Yu Zhou and Hao Yang and Jiarun Liu and Yong Liang and Hairong Zheng and Shaoting Zhang and Shanshan Wang},
journal= {arXiv preprint arXiv:2309.05904},
year = {2024}
}