面向大语言模型的成本感知对比路由
机器学习
2025-11-25 v3
摘要
我们研究了大语言模型在多样且动态的模型池中的成本感知路由问题。现有方法常常忽略了特定提示的上下文，依赖于高昂的模型轮廓，假设专家集合是固定的，或采用低效的试错策略。我们引入成本光谱对比路由 (CSCR)，是一个轻量级框架，将提示和模型映射到共享的嵌入空间，以实现快速、成本敏感的选择。CSCR 使用开源模型的紧凑、快速计算的logit足迹，以及黑盒 API 的囊惑指纹。对比编码器被训练以在可调整的成本带宽内，优先选择最便宜且准确的专家。在推理时间，路由简化为通过 FAISS 索引进行单个 k-NN 查找，不需要重新训练即可应对专家池的变化，实现微秒级延迟。在多个基准测试中，CSCR 始终优于基线方法，在准确性-成本权衡方面提升了最高可达 25%，同时对未见过的大语言模型和超出分布的提示具有良好的鲁棒性。
引用
@article{arxiv.2508.12491,
title = {Cost-Aware Contrastive Routing for LLMs},
author = {Reza Shirkavand and Shangqian Gao and Peiran Yu and Heng Huang},
journal= {arXiv preprint arXiv:2508.12491},
year = {2025}
}