TRINITY：一种演化的大语言模型协调器
机器学习
2026-04-28 v3
摘要
组合多样化基础模型具有前景，但权重合并受限于不匹配的架构和封闭 API。Trinity 通过一个轻量级协调器来解决这一问题，该协调器负责协调大语言模型（LLM）之间的协作。该协调器由一个紧凑语言模型（约 B 参数）和一个轻量级头部（约 K 参数）组成，通过进化策略进行优化，以实现高效且自适应的任务委派。Trinity 在多轮中处理查询，在每一轮中协调器为选定的 LLM 分配三个角色之一（Thinker、Worker 或 Verifier），有效地将复杂技能习得从协调器本身转移出去。实验表明，Trinity 在编码、数学、推理和领域知识任务上始终优于单个模型和现有方法，并在分布外任务上泛化稳健。在标准基准测试上，Trinity 达到了最先进结果，包括在 LiveCodeBench 上 86.2% 的得分。理论和实证分析确定了这一性能的两个主要因素：（1）协调器的隐藏状态表示为输入提供了丰富的上下文化，（2）在高维度和严格预算约束下，可分离的协方差矩阵自适应进化策略通过利用潜在的块-epsilon-可分离性，在强化学习、模仿学习和随机搜索方面提供了优势。
引用
@article{arxiv.2512.04695,
title = {TRINITY: An Evolved LLM Coordinator},
author = {Jinglue Xu and Qi Sun and Peter Schwendeman and Stefan Nielsen and Edoardo Cetin and Yujin Tang},
journal= {arXiv preprint arXiv:2512.04695},
year = {2026}
}
备注
To appear at the 14th International Conference on Learning Representation (ICLR 2026)