鹤尾混合专家模型（HS-MoE）
机器学习
2026-01-15 v1 机器学习
摘要
鹤尾混合专家模型（HS-MoE）提供了一种贝叶斯框架，用于混合专家体系结构中的稀疏专家选择。我们将鹤尾先验的自适应全局-局部收缩与输入依赖性门控相结合，实现对专家使用的数据驱动稀疏性。我们的主要方法贡献是为顺序推断开发一种粒子学习算法，在该算法中，滤波器沿时间前向传播，仅跟踪充分统计量。我们还讨论了 HS-MoE 与大型语言模型中混合专家层的关系，这些模型在极端稀疏约束下部署（例如，每个 token 只激活少数专家，而该专家池更大）。
引用
@article{arxiv.2601.09043,
title = {Horseshoe Mixtures-of-Experts (HS-MoE)},
author = {Nick Polson and Vadim Sokolov},
journal= {arXiv preprint arXiv:2601.09043},
year = {2026}
}