重新思考稀疏 MoE 中的门控机制：使用置信度引导的门控处理任意模态输入
机器学习
2026-05-12 v3 人工智能
摘要
在现实世界的多模态学习场景中，有效处理缺失模态是一项基本挑战，数据不完整通常源于系统性采集错误或传感器故障。稀疏混合专家 (SMoE) 架构具有自然处理多模态数据的潜力，各个专家专注于不同的模态。然而，现有的 SMoE 方法通常缺乏处理缺失模态的适当能力，导致在实际应用中性能下降和泛化能力差。我们提出 ConfSMoE，引入一个两阶段插补模块，通过采纳专家的意见来处理 SMoE 架构的缺失模态问题，并通过强有力的经验证据揭示了理论分析中专家崩溃的见解。受理论分析的启发，ConfSMoE 提出了一种新颖的专家门控机制，将 softmax 路由得分与相对于真实信号的任务置信度得分分离。这自然地缓解了专家崩溃，且无需引入额外的负载均衡损失函数。我们表明，专家崩溃的见解与 Gaussian 和 Laplacian 门控等其他门控机制相一致。所提出的方法在四个不同的真实世界数据集上进行了评估，采用三种不同的实验设置，以全面分析 ConfSMoE 对缺失模态的抵抗力以及所提出的门控机制的影响。
引用
@article{arxiv.2505.19525,
title = {Rethinking Gating Mechanism in Sparse MoE: Handling Arbitrary Modality Inputs with Confidence-Guided Gate},
author = {Liangwei Nathan Zheng and Wei Emma Zhang and Mingyu Guo and Olaf Maennel and Weitong Chen},
journal= {arXiv preprint arXiv:2505.19525},
year = {2026}
}