Flex-MoE：通过灵活混合专家模型处理任意模态组合

多模态学习在各个领域取得了重要进展，能够整合来自图像、文本和个性化记录等多样数据源，尤其在医疗领域常见。然而，当某些模态缺失时，许多现有框架难以处理任意模态组合，往往依赖单一模态或完整数据。这种对潜在模态组合的忽视限制了其在实际场景中的应用。为此，本文提出Flex-MoE（Flexible Mixture-of-Experts），一种灵活集成任意模态组合的框架，具备对缺失模态的鲁棒性。Flex-MoE的核心思想是：首先通过新的缺失模态库将观察到的模态组合与对应的缺失模态相结合，以处理缺失模态；随后采用独特的稀疏混合专家框架。具体而言，Flex-MoE首先使用所有模态的样本训练专家，通过通用路由器 ($\mathcal{G}$-Router) 注入通用知识；$\mathcal{S}$-Router then专注于处理较少的模态组合，通过分配top-1门控将样本路由到对应观察模态组合的专家。我们在包括阿尔茨海默病领域的ADNI数据集（包含四种模态）以及MIMIC-IV数据集上进行评估。实验结果表明，Flex-MoE在多种缺失模态情景下有效建模了任意模态组合。代码已公开于 https://github.com/UNITES-Lab/flex-moe。