用同步功能PET/MR和深度整合的脑代谢、血流动力学和灌注网络革新疾病诊断

同步功能PET/MR（sf-PET/MR）是一种前沿的多模态神经影像技术。它为同时监测和整合由时空协变的代谢活动、神经活动和脑血流（灌注）构建的多面脑网络提供了前所未有的机会。尽管具有很高的科学/临床价值，但PET/MR硬件可及性不足限制了其应用，更不用说基于现代AI的PET/MR融合模型了。我们的目标是开发一个临床可行的基于AI的疾病诊断模型，该模型在全面的sf-PET/MR数据上训练，并在推理时能够允许单模态输入（例如仅PET）以及强制基于多模态的准确性。为此，我们提出了MX-ARM，一种多模态混合专家对齐与重建模型。它是模态可分离和可交换的，通过可学习的权重动态分配不同的多层感知器（“专家混合”）来从不同模态学习各自的表示。这种设计不会牺牲单模态情况下的模型性能。为了充分利用模态之间固有的复杂非线性关系，同时为单模态推理生成细粒度表示，我们随后添加了一个模态对齐模块，将主导模态（例如PET）与辅助模态（MR）的表示对齐。我们进一步采用多模态重建来提升学习特征的质量。在用于轻度认知障碍诊断的宝贵多模态sf-PET/MR数据上的实验展示了我们的模型在临床可行的精准医学方面的有效性。