贝叶斯混合专家：让大语言模型了解它们所不知道的事
机器学习
2025-09-30 v1 统计理论
机器学习
统计理论
摘要
混合专家（MoE）架构已使巨型且高效的大语言模型（LLM）成为可能。然而，标准的确定性路由机制存在显著局限性：其固有的脆弱性是模型失校准和过度自信的关键贡献因素，导致系统往往并不知道它们所不知道的事。本论文通过提出结构化的贝叶斯MoE路由框架来应对这一挑战。我们不强制单一的、确定性的专家选择，而是对路由决策本身建模概率分布。我们系统性地研究了三类方法，这些方法在路由管道的不同阶段引入原则性不确定性：在权重空间、逻辑空间以及最终的选择空间。通过在30亿参数的MoE模型上进行一系列受控实验，我们展示了这一框架显著改善了路由稳定性、分布内校准以及分布外（OoD）检测。结果表明，通过针对这一核心架构组件，我们可以创建更可靠的内部不确定性信号。这项工作为构建更健壮、更自我感知的LLM提供了实用且可计算可行的路径，迈出了让模型了解它所不知道的事的关键一步。
引用
@article{arxiv.2509.23830,
title = {Bayesian Mixture-of-Experts: Towards Making LLMs Know What They Don't Know},
author = {Albus Yizhuo Li},
journal= {arXiv preprint arXiv:2509.23830},
year = {2025}
}