通过病理级跨模态对齐与相关性探索提升医学视觉表征学习
计算机视觉与模式识别
2025-12-09 v2
摘要
通过联合学习从图像-报告对中学习医学视觉表征已引起越来越多的研究关注，因其有望缓解医学领域的数据稀缺问题。主要挑战源于冗长的报告，其包含复杂的篇章关系和语义病理。先前的研究主要聚焦于实例级或标记级的跨模态对齐，往往忽视了病理级一致性的重要性。本文提出了一种名为PLACE的新型框架，通过相关性探索促进病理级对齐并丰富细粒度细节，无需额外的人工标注。具体而言，我们提出了一种新型病理级跨模态对齐（PCMA）方法，以最大化图像和报告之间病理观测的一致性。为实现这一点，引入了视觉病理观测提取器，从局部标记中提取视觉病理观测表示。PCMA模块独立于任何外部疾病标注，增强了我们方法的泛化性和鲁棒性。此外，我们设计了一个代理任务，强制模型识别图像块之间的相关性，从而丰富对各种下游任务至关重要的细粒度细节。实验结果表明，我们提出的框架在多个下游任务上取得了新的最先进性能，包括分类、图像到文本检索、语义分割、目标检测和报告生成。代码可在 https://github.com/Markin-Wang/PLACE 获取。
引用
@article{arxiv.2506.10573,
title = {Improving Medical Visual Representation Learning with Pathological-level Cross-Modal Alignment and Correlation Exploration},
author = {Jun Wang and Lixing Zhu and Xiaohan Yu and Abhir Bhalerao and Yulan He},
journal= {arXiv preprint arXiv:2506.10573},
year = {2025}
}
备注
Accepted to IEEE Journal of Biomedical and Health Informatics (JBHI).Code: https://github.com/Markin-Wang/PLACE