面向LLM代理中功能等价工具的时延-质量路由
机器学习
2026-05-29 v2
摘要
工具增强型LLM代理日益通过多个功能等价提供者访问同一工具类型，例如经过共享接口暴露的Web搜索API、检索器或LLM后端。这构成了在运行负载下的提供者路由问题：路由器必须在时延、可靠性和答案质量不同的提供者之间做出选择，往往在部署时没有金标签。我们引入LQM-ContextRoute，一种面向相同功能工具提供者的上下文型多臂老虎机路由器。其核心设计是时延-质量匹配：路由器按预期答案质量/服务周期排序提供者，将此容量感知得分与查询特定的质量估计和LLM评判反馈相结合，使其能够在负载变化和提供者质量差异时在线自适应。在主Web搜索负载基准上，LQM-ContextRoute相较于SW-UCB提升F1分数+2.18pp；在高异构性StrategyQA设置下，LQM-ContextRoute避免了加法奖励坍塌，准确率提升最高可达+18pp；在异构检索器池中，提升NDCG+2.91--+3.22pp。这些结果表明，尤其在运行压力与提供者质量异构性共存时，同功能工具路由受益于将时延视为服务容量。
引用
@article{arxiv.2605.14241,
title = {Latency-Quality Routing for Functionally Equivalent Tools in LLM Agents},
author = {Kexin Chu and Dawei Xiang and Wei Zhang},
journal= {arXiv preprint arXiv:2605.14241},
year = {2026}
}
备注
14 pages, 6 figure, 13 tables