LightRouter: 面向低开销 LLM 协作的高效路由框架
人工智能
2025-05-23 v1
摘要
大型语言模型的快速发展已在广泛的自然语言处理任务中释放了显著能力。然而，现有 LLMs 在成本、性能和计算需求方面存在显著差异，给用户寻找出具特定任务最佳模型带来了重大挑战。本文提出 LightRouter，一种新型框架旨在从更大的模型池中系统性地选择并整合一小部分 LLMs，以实现任务性能和成本效率的联合优化。LightRouter 利用自适应选择机制识别仅需少量 boot token 的模型，从而降低成本，并进一步采用有效的集成策略组合其输出。广泛的实验表明，LightRouter 在多个基准测试中与广泛使用的 ensemble 基线相当或更优，准确率提升最高可达 25%。与领先的高性能模型相比，LightRouter 虽保持相当水平，却将推理成本降低最高可达 27%。重要的是，本框架无需任何关于 individual 模型的先验知识，仅依赖廉价、轻量级模型。本工作提供了一种实用的 LLM 选择与高效集成方法，并为最佳模型组合策略提供了宝贵洞见。
关键词
引用
@article{arxiv.2505.16221,
title = {LightRouter: Towards Efficient LLM Collaboration with Minimal Overhead},
author = {Yifan Zhang and Xinkui Zhao and Zuxin Wang and Guanjie Cheng and Yueshen Xu and Shuiguang Deng and Jianwei Yin},
journal= {arXiv preprint arXiv:2505.16221},
year = {2025}
}