ICL-Router：基于上下文学习模型表示的 LLM 路由方法
机器学习
2025-11-17 v3 人工智能
摘要
大语言模型（LLMs）往往具有互补的优势。模型路由通过在给定候选模型池的情况下，将每个查询动态地导向最合适的模型，从而利用这些互补优势。然而，路由性能依赖于准确的模型表示，并且新增模型通常需要重新训练，限制了可扩展性。为应对这些挑战，我们提出了一种使用上下文向量来表示模型能力的新颖路由方法。该方法分两个阶段进行。首先，将查询嵌入并投影为向量，利用一个投影器和一个基于 LLM 的路由器来重建原始查询，使向量表示与路由器的语义空间对齐。其次，在一组查询上对每个候选模型进行性能画像，路由器基于查询的上下文向量和模型性能，学习预测每个模型能否正确回答新的查询。大量实验表明，我们的方法在分布内和分布外任务上均达到了当前最优（SOTA）的路由性能。此外，我们的方法支持在不重新训练路由器的情况下无缝集成新模型。代码已开源：https://github.com/lalalamdbf/ICL-Router。
引用
@article{arxiv.2510.09719,
title = {ICL-Router: In-Context Learned Model Representations for LLM Routing},
author = {Chenxu Wang and Hao Li and Yiqun Zhang and Linyao Chen and Jianhao Chen and Ping Jian and Peng Ye and Qiaosheng Zhang and Shuyue Hu},
journal= {arXiv preprint arXiv:2510.09719},
year = {2025}
}
备注
Accepted by AAAI 2026