确定-再-集合：大语言模型集成中 Top-k 联合的必要性
计算与语言
2025-02-26 v2 人工智能
摘要
大语言模型（LLMs）在不同任务上表现出不同的优势与不足，促使近期研究探索通过集成模型来利用其互补优势。然而，现有的 LLM 集成方法常常忽视模型之间的兼容性，并在整个词汇表上的概率对齐方面效率低下。本研究经验性地探讨影响集成性能的因素，识别出模型性能、词汇表大小和响应样式为关键决定因素，揭示模型之间的兼容性是有效集成的关键。该分析导致开发一种简单而有效的模型选择策略，以识别兼容的模型。此外，我们引入了 UniTE（Union Top-k Ensembling），一种新颖的方法，通过聚焦于每个模型中 Top-k 标记的联合，高效地组合多个模型，从而避免了对整个词汇表对齐的需求并降低了计算开销。广泛的基准测试评估表明，UniTE 在与现有方法的对比下显著提升了性能，为 LLM 集成提供了更高效的框架。
引用
@article{arxiv.2410.03777,
title = {Determine-Then-Ensemble: Necessity of Top-k Union for Large Language Model Ensembling},
author = {Yuxuan Yao and Han Wu and Mingyang Liu and Sichun Luo and Xiongwei Han and Jie Liu and Zhijiang Guo and Linqi Song},
journal= {arXiv preprint arXiv:2410.03777},
year = {2025}
}