SimCroP: 基于相似性驱动的断层影像表示学习
计算机视觉与模式识别
2025-09-11 v1
摘要
医学视觉-语言预训练在从大量配对断层影像和报告中学习代表性特征方面显示出巨大的潜力。然而，在断层扫描（CT）中，病灶（包含复杂结构）的分布以空间稀疏性为特征。此外，报告中不同病理描述之间存在复杂且隐含的关系，这些描述对应于断层影像中的不同子区域，带来了额外的挑战。本文提出一种基于相似性驱动的跨粒度预训练（SimCroP）框架，用于胸部 CT，结合相似性驱动的对齐和跨粒度融合以改进断层影像解读。我们首先利用多模态掩码建模来优化编码器，以理解断层影像中精确的低层语义。随后，设计相似性驱动的对齐，以预训练编码器能够自适应地选择并对齐报告中每个句子对应的正确图块。跨粒度融合模块在实例级别和词-图块级别集成多模态信息，有助于模型更好地捕获稀疏断层影像中的关键病理结构，从而在多尺度下游任务中实现更好的性能。SimCroP 在大型配对 CT-报告数据集上进行预训练，并在五个公开数据集上的图像分类和分割任务中进行验证。实验结果表明，SimCroP 在医学自监督学习方法和医学视觉-语言预训练方法方面均表现优异。代码和模型已公开于 https://github.com/ToniChopp/SimCroP。
引用
@article{arxiv.2509.08311,
title = {SimCroP: Radiograph Representation Learning with Similarity-driven Cross-granularity Pre-training},
author = {Rongsheng Wang and Fenghe Tang and Qingsong Yao and Rui Yan and Xu Zhang and Zhen Huang and Haoran Lai and Zhiyang He and Xiaodong Tao and Zihang Jiang and Shaohua Kevin Zhou},
journal= {arXiv preprint arXiv:2509.08311},
year = {2025}
}
备注
Accepted by MICCAI 2025