探测大型混合专家模型中的语义路由
机器学习
2025-05-22 v2 人工智能
计算与语言
摘要
过去一年中，大型（>100B参数）混合专家（MoE）模型在开放领域变得越来越普遍。虽然其优势通常从效率角度来阐述，但先前工作也探索了通过路由行为实现的功能分化。我们研究大型MoE模型中的专家路由是否受输入语义的影响。为验证这一点，我们设计了两个对照实验。首先，我们比较在相同或不同含义上使用同一目标词的句子对的激活情况。其次，我们固定上下文并将目标词替换为语义相似或不相似的替代词。跨这些条件比较专家重叠情况，揭示了大型MoE模型中存在语义路由的明确、统计显著的证据。
引用
@article{arxiv.2502.10928,
title = {Probing Semantic Routing in Large Mixture-of-Expert Models},
author = {Matthew Lyle Olson and Neale Ratzlaff and Musashi Hinck and Man Luo and Sungduk Yu and Chendi Xue and Vasudev Lal},
journal= {arXiv preprint arXiv:2502.10928},
year = {2025}
}
备注
16 pages, 5 figures, 5 tables