唤醒潜伏专家：利用反事实路由缓解 MoE 幻觉
机器学习
2026-04-30 v2 人工智能
摘要
稀疏混合专家（MoE）模型在实现规模化方面取得了显著进展，但在处理长尾知识时仍易产生幻觉。我们识别到，这种脆弱性源于静态 Top- 路由机制：路由器倾向于优先选择高频模式而非稀有事实关联。结果，拥有关键长尾知识的“专家”常获得较低的门控得分，处于潜伏状态——尽管在其他输入上证明其因果重要性，但被低估。为此，我们提出反事实路由（CoR），一个无需训练的推理框架，旨在唤醒这些潜伏专家。CoR 集成了层级扰动分析与反事实专家影响（CEI）指标，动态地从语法主导的层转移计算资源至知识密集型层，保持总激活计数不变，通过虚拟消除有效检索因果决定性专家。大量实验表明，在 TruthfulQA、FACTOR 和 TriviaQA 上，CoR 在不增加推理预算的情况下，平均提升事实准确率 3.1%，在静态扩展策略中实现更优的帕累托前沿。
引用
@article{arxiv.2604.14246,
title = {Awakening Dormant Experts:Counterfactual Routing to Mitigate MoE Hallucinations},
author = {Wentao Hu and Yanbo Zhai and Xiaohui Hu and Mingkuan Zhao and Shanhong yu and Xue Liu and Kaidong Yu and Shuangyong Song and Xuelong Li},
journal= {arXiv preprint arXiv:2604.14246},
year = {2026}
}
备注
14 pages, 6 figures, 6 tables