多模型协作定律：大型语言模型集成的规模极限
机器学习
2026-01-29 v2 人工智能
多智能体系统
摘要
近期大型语言模型(LLM)的进展主要受单个模型的规模定律驱动，这些定律预测模型参数和数据量增加时的性能提升。然而，任何单个 LLM 的能力本质上都有局限。一个解决方案源于多个 LLM 之间复杂的相互作用，使其集体性能超过任何单个组成模型。尽管多模型集成技术（如模型路由和事后集成）迅速增长，但缺乏统一的多模型协作性能规模的理论框架。本文提出了多模型协作定律，一种预测 LLM 集团根据其聚合参数预算所达到的性能极限的规模定律。为量化多模型协作的固有上限，我们采用一种不依赖方法的表述，假设每个样本的总交叉熵损失由模型池中任何模型的最小损失决定。实验结果表明，多模型系统会随总参数数量呈幂律规模，表现出更显著的改进趋势和更低的理论损失底部。此外，来自异构模型家族的集成在单一模型家族内的集成方面实现了更好的性能规模，表明模型多样性是协作收益的主要驱动力。这些发现表明，模型协作是扩展 LLM 智能边缘的关键轴。
引用
@article{arxiv.2512.23340,
title = {The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models},
author = {Dakuan Lu and Jiaqi Zhang and Cheng Yuan and Jiawei Shao and Xuelong Li},
journal= {arXiv preprint arXiv:2512.23340},
year = {2026}
}