从混合模型视角重新思考大语言模型集成
机器学习
2026-05-26 v2 计算与语言
摘要
模型集成是提高机器学习模型性能的已建立技术，通常涉及对多个模型的输出分布进行平均并选择最可能的标签。该思想自然扩展到大语言模型（Large Language Models, LLMs），虽然提升了性能，但计算成本极高。这种低效性源于直接将常规集成方法应用于 LLM，需为每个模型单独进行前向传播以显式计算集成分布。本文提出混合模型式集成（Mixture-model-like Ensemble, ME）。通过将集成重新解释为混合模型，ME 在每一步以随机方式选择单个模型以生成下一个 token，从而避免对完整集成分布的显式计算。ME 在数学上等价于从集成分布中进行抽样，但仅需调用一个模型，速度较常规集成快 1.78 倍至 2.68 倍。此视角将 LLM 集成与 token 级路由方法联系起来，表明 LLM 集成是路由方法的特例。我们的发现开辟了高效 LLM 集成的新途径，并激励进一步探索 LLM 的 token 级路由策略。我们的代码已公开于 https://github.com/Kamichanw/Mixture-model-like-Ensemble。
引用
@article{arxiv.2605.00419,
title = {Rethinking LLM Ensembling from the Perspective of Mixture Models},
author = {Jiale Fu and Yuchu Jiang and Peijun Wu and Chonghan Liu and Joey Tianyi Zhou and Xu Yang},
journal= {arXiv preprint arXiv:2605.00419},
year = {2026}
}
备注
ICML 2026 Spotlight