ProxRouter：面向鲁棒性的近似加权 LLM 查询路由
机器学习
2025-10-14 v1 人工智能
摘要
大型语言模型（LLM）查询路由器是现代人工智能平台的关键组件，旨在通过将推理查询分配给准确且低成本的模型来提高效率。参数化路由器通常使用训练好的神经网络进行 LLM 选择，但 suffer from 重训练和维护开销。非参数化路由器无需训练，改为通过输入查询与训练集查询编码之间的相似性来估计 LLM 的准确性和成本。然而，像它们的参数化对应项一样，非参数化路由器在处理离群查询时难以泛化，这一问题因训练集的多样性受限而加剧——扩充训练集昂贵且难以维持与不断演变的用例的同步。我们提出 ProxRouter，通过应用指数倾斜聚合机制，在非参数化路由器中平衡偏差和方差，从而提高其对离群查询的鲁棒性。实验表明，ProxRouter 在保持内在性能的同时，以最小开销提升了离群路由性能。
引用
@article{arxiv.2510.09852,
title = {ProxRouter: Proximity-Weighted LLM Query Routing for Improved Robustness to Outliers},
author = {Shivam Patel and Neharika Jali and Ankur Mallick and Gauri Joshi},
journal= {arXiv preprint arXiv:2510.09852},
year = {2025}
}