心血管磁共振成像的多模态表示学习
计算机视觉与模式识别
2023-04-18 v1
摘要
鉴于医疗健康领域缺乏显式标签，自监督学习对于临床影像应用至关重要。然而，在诸如心脏磁共振（CMR）等复杂临床成像模态中，依赖精确视觉-语言对齐的传统方法并非总是可行。CMR 提供了心脏解剖、生理和微观结构的全面可视化，使其难以解读。此外，CMR 报告需要综合来自图像序列和不同视图的信息，导致检查与诊断报告对之间可能存在弱对齐。为克服这些挑战，我们提出 \textbf{CMRformer}，一种联合学习 CMR 图像序列与相关心脏病专家报告的多模态学习框架。此外，改进 CMR 研究的主要障碍之一是缺乏大规模公开可用数据集。为弥补这一缺口，我们收集了一个大型 \textbf{CMR 数据集}，包含来自临床病例的 13,787 项检查。通过利用我们提出的 CMRformer 和所收集的数据集，我们在真实世界临床任务（如 CMR 图像检索和诊断报告检索）中取得了卓越性能。进一步，所学表示经评估对下游应用（如疾病分类）具有实际帮助。我们的工作有可能加速 CMR 研究的进展，并实现更准确有效的诊断与治疗。
引用
@article{arxiv.2304.07675,
title = {Multimodal Representation Learning of Cardiovascular Magnetic Resonance Imaging},
author = {Jielin Qiu and Peide Huang and Makiya Nakashima and Jaehyun Lee and Jiacheng Zhu and Wilson Tang and Pohao Chen and Christopher Nguyen and Byung-Hak Kim and Debbie Kwon and Douglas Weber and Ding Zhao and David Chen},
journal= {arXiv preprint arXiv:2304.07675},
year = {2023}
}
备注
24 pages