基于生成数据的路由：无标注的 LLM 技能估计与专家选择
计算与语言
2026-01-15 v1 人工智能
机器学习
摘要
大语言模型（LLM）路由器动态地为给定输入选择最优模型。现有方法通常假设可以获取真实标注数据，但在实践中，尤其是在用户请求分布异构且未知的情况下，这些数据往往不可用。我们引入了基于生成数据的路由（RGD）这一具有挑战性的设置，在该设置中，路由器仅使用由生成器 LLM 根据高级任务描述生成的查询和答案进行训练。我们在四个不同的基准和 12 个模型上评估了查询-答案路由器（同时使用查询和标签）和仅查询路由器，发现随着生成器质量的下降，查询-答案路由器的性能下降速度比仅查询路由器更快。我们的分析揭示了有效生成器的两个关键特征：它们必须能准确回答自己提出的问题，并且它们的问题必须在模型池中产生足够的性能区分度。然后，我们展示了如何通过筛选这些特征来提高生成数据的质量。我们进一步提出了 CASCAL，这是一种新颖的仅查询路由器，它通过共识投票来估计模型正确性，并通过层次聚类来识别模型特定的技能生态位。CASCAL 对生成器质量的鲁棒性显著更强，当使用弱生成器数据进行训练时，其绝对准确率比最佳的查询-答案路由器高出 4.6%。
引用
@article{arxiv.2601.09692,
title = {Routing with Generated Data: Annotation-Free LLM Skill Estimation and Expert Selection},
author = {Tianyi Niu and Justin Chih-Yao Chen and Genta Indra Winata and Shi-Xiong Zhang and Supriyo Chakraborty and Sambit Sahu and Yue Zhang and Elias Stengel-Eskin and Mohit Bansal},
journal= {arXiv preprint arXiv:2601.09692},
year = {2026}
}
备注
Code: https://github.com/tianyiniu/RoutingGenData