FuseMoE：用于Fleximodal Fusion的Mixture-of-Experts Transformer
机器学习
2025-04-10 v4
摘要
随着机器学习模型在关键领域日益面临多模态数据，它们面临两个挑战：一方面要处理来自各种模态的丰富数据，常常因缺失元素而不完整；另一方面要应对收集样本的时序不规则和稀疏性。成功地利用这一复杂数据，同时克服高质量训练样本的稀缺性，是提升这些模型预测性能的关键。我们引入了"FuseMoE"，一个集成创新门控函数的Mixture-of-Experts框架。旨在整合多种模态，FuseMoE在处理缺失模态和不规则采样数据轨迹的场景中效果显著。理论上，我们独特的门控函数有助于提高收敛速度，从而在多个下游任务中实现更好性能。我们通过一系列具有挑战性的预测任务验证了FuseMoE在实际中的实用性。
关键词
引用
@article{arxiv.2402.03226,
title = {FuseMoE: Mixture-of-Experts Transformers for Fleximodal Fusion},
author = {Xing Han and Huy Nguyen and Carl Harris and Nhat Ho and Suchi Saria},
journal= {arXiv preprint arXiv:2402.03226},
year = {2025}
}
备注
Published in NeurIPS 2024; 45 pages, 10 tables, 13 figures