Eagle：高效无训练路由器用于多 LLM 推理
机器人学
2025-03-04 v2 计算机视觉与模式识别
摘要
大型语言模型 (LLM) 数量不断增加且能力和成本各异，这导致需要高效的模型选择。LLM 路由器通过根据任务要求和预算约束动态选择最合适的模型来解决此问题。然而，现有路由器在可扩展性和实时适应方面面临挑战，尤其是在高流量在线环境中。我们提出了 Eagle，一种新的 LLM 路由方法，结合全局和局部 ELO 排名模块来克服这些限制。通过评估通用和专门的 LLM 能力，Eagle 提供了一种可扩展的、无训练的解决方案，提高了模型选择质量的同时降低了计算开销。我们在多个数据集上的实验表明，Eagle 持续地优于基准方法，AUC 分数提升最高可达 23.52%。此外，Eagle 在初始化时仅需基准方法的 1/20，线上场景中的增量更新仅需 100 至 200 倍，使其非常适用于动态、高流量在线服务环境。
引用
@article{arxiv.2409.15517,
title = {MATCH POLICY: A Simple Pipeline from Point Cloud Registration to Manipulation Policies},
author = {Haojie Huang and Haotian Liu and Dian Wang and Robin Walters and Robert Platt},
journal= {arXiv preprint arXiv:2409.15517},
year = {2025}
}
备注
project url: https://haojhuang.github.io/match_page/