Uni-Perceiver-MoE：使用条件 MoE 学习稀疏通才模型

为构建类似生物智能系统的人工神经网络，近期工作将众多任务统一到一个通才模型中，该模型可利用共享参数处理各种任务，且不含任何任务特定模块。虽然通才模型在各基准上取得了有前景的结果，但与任务专用模型相比，它们在某些任务上性能下降。在本工作中，我们发现不同任务和模态间的干扰是这一现象的主要因素。为缓解此类干扰，我们将条件混合专家（Conditional MoE）引入通才模型。提出了不同条件层级下的路由策略，以同时考虑训练/推理成本和泛化能力。通过引入所提出的条件 MoE，近期提出的通才模型 Uni-Perceiver 能有效缓解跨任务和跨模态的干扰，并在一系列下游任务上通过使用 1% 的下游数据进行提示微调取得最先进结果。此外，条件 MoE 的引入仍保持了通才模型对新任务进行零样本推理的泛化能力，例如视频-文本检索和视频描述。代码和预训练通才模型将会发布。