面向联邦 LLM 路由的稀疏与去中心化评估学习
机器学习
2026-02-02 v1
摘要
大型语言模型（LLM）日益以远程托管服务形式被边缘和企业客户访问，而这些客户无法在本地运行前沿模型。由于模型在能力和价格方面差异巨大，将查询路由到在质量和推理成本之间取得平衡的模型是必不可少的。现有的路由方法假设可以访问集中查询-模型评估数据。然而，这些数据常常分散在客户（如终端用户和组织）之间，且属于隐私敏感数据，这使得集中数据不可行。此外，单客户端路由训练效果不佳，因为本地评估数据有限，且仅覆盖受限的查询分布和模型评估的偏性子集。我们引入首个针对 LLM 路由的联邦框架，使客户能够从本地离线查询-模型评估数据中学习共享路由策略。我们的框架支持在异构客户端查询分布和非均匀模型覆盖下下的参数化多层感知机路由器和非参数 K-means 路由器。通过两个基准测试，联邦协作在客户端本地路由器的 accuracy-cost 前沿上取得显著提升，这通过增加有效模型覆盖范围和改进查询泛化能力实现。我们的理论结果也表明，联邦训练可减少路由次优性。
引用
@article{arxiv.2601.22318,
title = {Federate the Router: Learning Language Model Routers with Sparse and Decentralized Evaluations},
author = {Baris Askin and Shivam Patel and Anupam Nayak and Andrea Vigano and Jiin Woo and Gauri Joshi and Carlee Joe-Wong},
journal= {arXiv preprint arXiv:2601.22318},
year = {2026}
}