面向全身 PET/CT 的通用基础模型：诊断报告与系统级代谢轮廓
计算机视觉与模式识别
2026-01-21 v1
摘要
全身 PET/CT 实现了系统范围的分子成像，但来自不同组织的解剖和代谢信号、约2米的轴向覆盖范围以及结构化放射学语义，挑战了假设单一模态输入、局部视野和粗糙图像-文本对齐的现有医学 AI 模型。我们引入了 SDF-HOLO（Systemic Dual-stream Fusion Holo Model），这是一种用于全身 PET/CT 的多模态基础模型，已在超过1万名患者身上进行预训练。SDF-HOLO 通过双流编码器解耦 CT 和 PET 表示学习，并通过跨模态交互模块将其耦合，使解剖上下文能够细化 PET 聚合，同时代谢显著性指导细微形态推理。为建模横跨身体的长程依赖，层次化上下文建模将高效的局部窗口与全局注意力相结合。为桥接体素和临床语言，我们使用解剖分割掩码作为显式语义锚点，并在预训练期间执行体素-掩码-文本对齐。 在肿瘤分割、低剂量病灶检测和多语言诊断报告生成等任务上，SDF-HOLO 在强大的任务特定和临床参考基准中均取得优异成绩，同时减少了定位误差和虚构发现。除局部解释外，该模型还支持系统范围的代谢轮廓分析，揭示了肿瘤伴随的脏器代谢网络相互作用指纹，为全身 PET/CT 诊断和系统级精密肿瘤学提供了可扩展的计算基础。
引用
@article{arxiv.2601.12820,
title = {A Generalist Foundation Model for Total-body PET/CT Enables Diagnostic Reporting and System-wide Metabolic Profiling},
author = {Wei Chen and Liang Wu and Shuyi Lu and Yuanyuan Sun and Wenkai Bi and Zilong Yuan and Yaoyao He and Feng Wang and Junchi Ma and Shuyong Liu and Zhaoping Cheng and Xiaoyan Hu and Jianfeng Qiu},
journal= {arXiv preprint arXiv:2601.12820},
year = {2026}
}