MoB:竞价者混合
机器学习
2025-12-15 v1
摘要
专家混合(MoE)架构在扩展神经网络方面展示了显著成功,但其应用于持续学习仍受到一个关键脆弱性的根本限制:学习到的门控网络本身遭受灾难性遗忘。我们提出了MoB(Mixture of Bidders),一个将专家路由重新构想为去中心化经济机制的新框架。MoB用Vickrey-Clarke-Groves(VCG)拍卖替代学习到的门控网络,专家通过竞标其真实成本来争夺每个数据批次——这是执行成本(预测损失)和遗忘成本(弹性权重巩固惩罚)的原则性组合。这种博弈论方法提供了三个关键优势:(1)不受灾难性遗忘影响的{无状态路由},(2)由占优策略激励兼容性保证的{真实竞标},以及(3)无需显式任务边界的涌现专业化。在Split-MNIST基准测试上,MoB达到88.77%的平均准确率,而门控MoE为19.54%,单体EWC为27.96%,相比最强基线提升了4.5倍。我们进一步扩展了MoB,加入自主自我监控专家以检测自身的知识巩固边界,消除了对显式任务划分的需求。
引用
@article{arxiv.2512.10969,
title = {MoB: Mixture of Bidders},
author = {Dev Vyas},
journal= {arXiv preprint arXiv:2512.10969},
year = {2025}
}
备注
8 pages, 2 figures