开发用于跨模态解剖与功能成像的PET/CT基础模型
计算机视觉与模式识别
2025-03-05 v1 人工智能
摘要
在肿瘤学中，正电子发射断层扫描-计算机断层扫描(PET/CT)广泛用于癌症诊断、分期和治疗监测，因为它结合了CT的解剖细节和PET的功能代谢活动及分子标记表达信息。然而，现有的AI驱动的PET/CT分析主要依赖于从头训练或基于有限数据集的任务特定模型，限制了其泛化性和鲁棒性。为了解决这一问题，我们提出了一种专门设计用于多模态PET/CT成像的基础模型方法。我们引入了交叉异卵双胎掩码自编码器(FratMAE)，一种有效整合全身解剖与功能或分子信息的新框架。FratMAE为PET和CT扫描分别采用Vision Transformer(ViT)编码器，并配备交叉注意力解码器，在掩码自编码器训练期间实现模态间的协同交互。此外，它整合文本元数据以增强PET表示学习。通过在PET/CT数据集上预训练，FratMAE捕获了复杂的跨模态关系和全局摄取模式，在下游任务上取得了优异性能，展示了其作为可泛化基础模型的潜力。
引用
@article{arxiv.2503.02824,
title = {Developing a PET/CT Foundation Model for Cross-Modal Anatomical and Functional Imaging},
author = {Yujin Oh and Robert Seifert and Yihan Cao and Christoph Clement and Justin Ferdinandus and Constantin Lapa and Alessandro Liebich and Michelle Amon and Johanna Enke and Sifan Song and Runqi Meng and Fang Zeng and Ning Guo and Xiang Li and Pedram Heidari and Axel Rominger and Kuangyu Shi and Quanzheng Li},
journal= {arXiv preprint arXiv:2503.02824},
year = {2025}
}
备注
11 pages, 2 figures, 3 tables