IPR：基于用户控制质量-成本权衡的智能提示路由
机器学习
2025-10-10 v4
摘要
在大规模商业系统中，路由输入查询以保持响应质量的同时实现最具成本效益的 LLM，构成了优化性能-成本权衡的根本挑战。我们提出了 IPR——一个质量受限的 \textbf{I}ntelligent \textbf{P}rompt \textbf{R}outing 框架，通过预测响应质量和用户指定的容忍度水平动态选择最优模型。IPR 引入了三个关键创新：（1）采用模块化架构，训练轻量级质量估计器（基于 150 万条带有校准质量评分的提示进行标注），实现跨模型家族的细粒度质量预测；（2）引入用户控制的路由机制，容忍参数 提供质量-成本权衡的显式控制；（3）采用可扩展设计，使用冻结编码器和模型特定适配器，将新模型集成时间从几天缩短到数小时。为严格训练和评估 IPR，我们策划了工业水平数据集 IPRBench\footnote{IPRBench 将在法律批准后公开。}，包含 150 万条示例，涵盖 11 个 LLM 候选模型的响应质量标注。在主要云平台上部署后，IPR 实现了 43.9% 的成本降低，同时保持与 Claude 系列最强模型等价的质量，并以亚 150ms 的延迟处理请求。已部署的系统和其他产品细节已公开于 https://aws.amazon.com/bedrock/intelligent-prompt-routing/。
引用
@article{arxiv.2509.06274,
title = {IPR: Intelligent Prompt Routing with User-Controlled Quality-Cost Trade-offs},
author = {Aosong Feng and Balasubramaniam Srinivasan and Yun Zhou and Zhichao Xu and Kang Zhou and Sheng Guan and Yueyan Chen and Xian Wu and Ninad Kulkarni and Yi Zhang and Zhengyuan Shen and Dmitriy Bespalov and Soumya Smruti Mishra and Yifei Teng and Darren Yow-Bang Wang and Haibo Ding and Lin Lee Cheong},
journal= {arXiv preprint arXiv:2509.06274},
year = {2025}
}