Pan-FM：面向全身组织的基础模型，采用显著性引导遮蔽提升缺失鲁棒性
计算机视觉与模式识别
2026-05-11 v1 人工智能
摘要
基础模型在医学成像领域展现出巨大潜力，但大多数基础模型是在孤立领域（如脑磁共振）的单模态数据上进行训练。人类的衰老与疾病通过跨器官的协同生物学过程发生，因此动机在于学习跨组织的多模态基础模型以捕获全身表征。然而，现实中的多模态医学影像数据常常以非随机方式缺失，这会降低检验功效、限制概括性并引入偏置。我们提出Pan-FM，一种在七个器官（脑、心、脂肪、肝、肾、脾、胰）上的全身组织基础模型，模拟真实的器官缺失情境进行预训练。Pan-FM 使用统一的 backbone 在训练和推理期间处理器官缺失情况，并采用基于遮蔽的自我蒸馏进行预训练。我们发现，朴素的多模态预训练会导致主导器官捷径学习偏置，模型过度依赖于脂肪和心脏等主导器官。为此，我们引入显著性引导遮蔽（SGM），该方法利用模型注意力分布自适应地遮蔽主导器官，从而鼓励更均衡的跨器官、全身学习。值得注意的是，SGM 引入的计算开销极低，可无缝集成到现有的自监督学习框架中，以提高多器官表征学习。 在 UK Biobank 上，Pan-FM 在 13 种疾病类别和 14 种单一疾病实体上优于单器官和多器官基线模型，在缺失器官情境下表现出更好的鲁棒性。Pan-FM 为系统神经科学中的真实模态缺失问题提供了可扩展解决方案，同时也是通用全身基础模型发展的一步重要进展。
引用
@article{arxiv.2605.07055,
title = {Pan-FM: A Pan-Organ Foundation Model with Saliency-Guided Masking for Missing Robustness},
author = {Qiangqiang Wu and Grace McIlvain and Zhou Yu and Junhao Wen},
journal= {arXiv preprint arXiv:2605.07055},
year = {2026}
}