基于有限专家库的面向通信效率的MoE专家路由

资源高效的机器学习越来越多地使用稀疏混合专家(MoE)架构，其中门控既是学习组件也是路由接口，控制计算、通信和精度。以MoE门控的有限速率解释为动机，我们将门控视为随机信道，并使用$I(X;T)$量化可供所选专家获取的路由信息。为使相关信息量在合成示例之外可计算，我们开发了使用预训练CNN专家和离散、数据依赖的选择规则的有限库MNIST构建。由于所选模型属于有限候选集合，算法互信息$I(S;W)$可来自经验后验$q(W|S)$的离散熵估计器得到闭式形式。沿数据依赖参数$\alpha$扫描时，我们观察到$\widehat I(S;W)$单调跟踪泛化间隙，而Xu-Raginsky界限表现出预期的松弛。我们还与均匀联合界限进行比较，并引入$I(X;T)$的经验估计器以及Blahut-Arimaka程序，用于在专家库上追踪准确率-速率曲线。该框架为分析资源感知MoE推理系统提供了实用工具，并解释$I(X;T)$和$D(R_g)$作为高效专家路由的设计代理。