重访大型语言模型服务中的服务水平目标与系统级指标
机器学习
2025-10-30 v2 人工智能
摘要
用户体验是大型语言模型（LLM）服务系统必须考虑的关键因素，其中考虑单个请求用户体验的服务水平目标（SLOs）和考虑整体系统性能的系统级指标（SLMs）是两种关键的性能衡量标准。然而，我们注意到现有指标存在两个显著问题：1）手动延迟交付某些 token can 改善 SLOs；2）主动放弃不符合 SLOs 的请求 can 改善 SLMs，这两种做法都反直觉。在本文中，我们重访 LLM 服务中的 SLOs 和 SLMs，提出一种新型 SLO 以符合用户体验。基于该 SLO，我们提出了综合性的指标框架 smooth goodput，将 SLOs 和 SLMs 集成以反映 LLM 服务中用户体验的本质。通过该统一框架，我们在多种工作负载下重新评估了不同 LLM 服务系统的性能。评估结果表明，我们的指标框架提供了对 token 交付和请求处理的更全面视图，有效捕捉了不同服务策略下用户体验和系统性能的最佳点。
引用
@article{arxiv.2410.14257,
title = {Revisiting Service Level Objectives and System Level Metrics in Large Language Model Serving},
author = {Zhibin Wang and Shipeng Li and Yuhang Zhou and Xue Li and Zhonghui Zhang and Nguyen Cam-Tu and Rong Gu and Chen Tian and Guihai Chen and Sheng Zhong},
journal= {arXiv preprint arXiv:2410.14257},
year = {2025}
}