思想混合：学习聚合专家的想法，而不仅仅是他们所说的话
机器学习
2025-09-26 v1
摘要
开源大语言模型 (LLMs) 越来越多地通过特定领域（如数学、代码、常规推理）进行专业化，这激发了利用跨模型互补优势的系统需求。先前的多 LLM 方法要么（i）将查询路由到一个或多个专家并独立生成，要么（ii）通过高昂的多轮交互聚合每个模型的输出，要么（iii）将权重融合到单个模型中——通常需要模型架构的同质性。我们引入了思想混合 (Mixture of Thoughts, MoT)，这是一种在全局路由框架下进行异构专家潜在层级协作的简单方法。对于每个查询，轻量级路由器选择前 K 个专家并指定主要专家；均匀布置的交互层将隐藏状态投射到共享潜在空间，其中主要专家对其活跃（所选）同行进行跨注意力。预训练的专家保持冻结状态；仅训练路由器和轻量级交互层，采用一种新颖的联合训练目标，以提高专家选择和专间协作。跨五个分布内 (in-distribution, ID) 和三个分布外 (out-of-distribution, OOD) 基准测试，MoT 在路由和聚合基于的方法的最新进展（Avengers）方面分别超过 +0.38% 和 +2.92%。进一步，MoT 显著优于最佳单模型。它实现了单次推理、与路由基线相当的运行时，且没有迭代聚合的任何开销。MoT 提供了一种简单而有效的潜在空间机制，用于组合异构 LLMs，为更广泛的多 LLM 协作提供了实用步骤。我们的代码已公开于 https://github.com/jacobfa/mot。
引用
@article{arxiv.2509.21164,
title = {Mixture of Thoughts: Learning to Aggregate What Experts Think, Not Just What They Say},
author = {Jacob Fein-Ashley and Dhruv Parikh and Rajgopal Kannan and Viktor Prasanna},
journal= {arXiv preprint arXiv:2509.21164},
year = {2025}
}