M3D-BFS：面向样本自适应的多模态脑网络分析的多阶段动态融合策略
人工智能
2026-04-03 v1 计算机视觉与模式识别
摘要
多模态融合在神经科学中具有重要意义，可整合来自不同模态的信息，在下游任务中实现优于单模态方法的更好性能。当前脑网络中的多模态融合方法主要聚焦于结构连接 (SC) 和功能连接 (FC) 两种模态，具有静态特征。它们将不同样本输入到相同的模型中进行相同的计算，忽略输入样本之间的内在差异。这种缺乏样本自适应的做法阻碍了模型的进一步性能提升。为此，我们创新性地提出了用于样本自适应的多模态脑网络分析的多阶段动态融合策略 (M3D-BFS)。与其他静态融合方法不同，我们为单模态和多模态表示分别设计了不同的混合专家 (MoE)，其中模块可在推理过程中根据输入样本的变化而自适应更改。在为缓解 MoE 中专家训练可能崩溃的问题时，我们将方法分为三个阶段。首先分别训练单模态编码器，然后在训练 MoE 的单个专家，最后微调整个模型。我们设计了多模态解耦损失以增强最终表示。到目前为止，据我们所知，这是首个针对多模态脑网络分析进行动态融合的工作。在不同的真实数据集上进行大量实验表明，M3D-BFS 的优势显而易见。
引用
@article{arxiv.2604.01667,
title = {M3D-BFS: a Multi-stage Dynamic Fusion Strategy for Sample-Adaptive Multi-Modal Brain Network Analysis},
author = {Rui Dong and Xiaotong Zhang and Jiaxing Li and Yueying Li and Jiayin Wei and Youyong Kong},
journal= {arXiv preprint arXiv:2604.01667},
year = {2026}
}