变分路由：面向可校准混合专家Transformer的可扩展贝叶斯框架
机器学习
2026-03-17 v2 人工智能
机器学习
摘要
基础模型正越来越多地被部署在关键要求其输出不确定性以确保负责任部署的场景中。虽然贝叶斯方法提供了一种对不确定性量化的原则方法，但其计算开销使得在基础模型规模上进行训练或推断实际上是不可行的。最先进的模型通过精心设计的稀疏性（包括混合专家（MoE）层）实现了参数数量达到万亿级。在本工作中，我们通过引入变分混合专家路由（VMoER）——一种用于建模MoE层不确定性的结构化贝叶斯方法——在大规模模型上实现可校准的不确定性。VMoER将贝叶斯推断限制在专家选择阶段，而该阶段通常由确定性路由网络完成。我们使用两种推断策略实例化VMoER：对路由 logits 进行摊销变分推断以及推断随机专家选择的温度参数。在所测试的基础模型上，VMoER在噪声下的路由稳定性提高了38%，校准误差降低了94%，且在外分布 AUROC 上提升了12%，同时仅增加了不到1%的额外 FLOPs。这些结果表明VMoER为通往稳健且具备不确定性感知能力的基础模型提供了可扩展的路径。
引用
@article{arxiv.2603.09453,
title = {Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers},
author = {Albus Yizhuo Li and Matthew Wicker},
journal= {arXiv preprint arXiv:2603.09453},
year = {2026}
}
备注
8 pages, 7 figures for main text; 16 pages for Appendix;