关于稀疏混合专家的表达坍缩问题
计算与语言
2022-10-13 v3 机器学习
摘要
稀疏混合专家在保持恒定计算开销的同时提供了更大的模型容量。它采用路由机制，根据输入的隐表示将 token 分配给最匹配的专家。然而，学习此类路由机制会促使 token 围绕专家质心聚类，意味着一种朝向表示坍缩的趋势。在本工作中，我们提出在低维超球面上估计 token 与专家之间的路由分数。我们在跨语言语言模型预训练及下游任务微调上进行了大量实验。七个多语言基准上的实验结果表明，我们的方法取得了稳定的提升。我们还对模型的表示与路由行为进行了全面分析。我们的方法缓解了表示坍缩问题，并比基线混合专家方法实现了更一致的路由。
引用
@article{arxiv.2204.09179,
title = {On the Representation Collapse of Sparse Mixture of Experts},
author = {Zewen Chi and Li Dong and Shaohan Huang and Damai Dai and Shuming Ma and Barun Patra and Saksham Singhal and Payal Bajaj and Xia Song and Xian-Ling Mao and Heyan Huang and Furu Wei},
journal= {arXiv preprint arXiv:2204.09179},
year = {2022}
}
备注
NeurIPS 2022