BestServe：面向混合与非混合架构的优秀服务策略
机器学习
2025-06-09 v1 分布式、并行与集群计算
性能
摘要
为数百万用户提供大型语言模型（LLM）服务需要高效的资源分配和并行策略。寻找此类策略往往是一项费时费力的试错过程。我们提出BestServe，一种通过估算各种运行情景下的好put来对服务策略进行排序的新型框架。支持混合和非混合两种架构，BestServe基于经过调整的roofline模型和CPU-GPU调度动态构建的推理模拟器。我们的框架能在单台标准CPU上用数分钟确定最优策略，无需进行高成本的基准测试，同时实现约20%的误差范围内的预测。由于其轻量级设计和强大的可扩展性，BestServe适用于快速部署规划。
引用
@article{arxiv.2506.05871,
title = {BestServe: Serving Strategies with Optimal Goodput in Collocation and Disaggregation Architectures},
author = {Xiannan Hu and Tianyou Zeng and Xiaoming Yuan and Liwei Song and Guangyuan Zhang and Bangzheng He},
journal= {arXiv preprint arXiv:2506.05871},
year = {2025}
}