MeDSLIP：面向病理-解剖语义对齐的医用双流语言-图像预训练
计算机视觉与模式识别
2025-05-01 v2
摘要
病理与解剖是医学数据中两种基本的语义组别。病理描述疾病的本质，而解剖解释疾病发生的部位。它们从不同角度描述疾病，为理解疾病提供互补的视角。因此，正确理解这些语义及其关系有助于增强医学视觉-语言模型（VLM）的表现。然而，病理与解剖语义在医学数据中通常是交织的，阻碍 VLM 显式建模这些语义及其关系。为此，我们提出 MeDSLIP，一种新的医用双流语言-图像预训练管道，用于分离病理与解剖语义并建模二者关系。我们在 MeDSLIP 中引入双流机制，显式地将医学语义分离为病理相关与解剖相关的流，并在每个流内部对视觉与文本信息进行对齐。此外，我们提出一种交互建模模块，采用原型对比学习损失和帧内对比学习损失来正则化病理与解剖语义之间的关系。我们将 MeDSLIP 应用于胸部 X 光诊断，在四个基准数据集上进行全面评估：NIH CXR14、RSNA 肺炎、SIIM-ACR 肺气肿和 COVIDx CXR-4。结果表明，MeDSLIP 在不同场景下具有卓越的可迁移性和可推广性。代码已公开于 https://github.com/Shef-AIRE/MeDSLIP，预训练模型已发布于 https://huggingface.co/pykale/MeDSLIP。
引用
@article{arxiv.2403.10635,
title = {MeDSLIP: Medical Dual-Stream Language-Image Pre-training with Pathology-Anatomy Semantic Alignment},
author = {Wenrui Fan and Mohammod N. I. Suvon and Shuo Zhou and Xianyuan Liu and Samer Alabed and Venet Osmani and Andrew J. Swift and Chen Chen and Haiping Lu},
journal= {arXiv preprint arXiv:2403.10635},
year = {2025}
}