LLMServingSim2.0：面向 LLM 基础设施的异构硬件与服务技术统一仿真器
分布式、并行与集群计算
2025-11-11 v1 人工智能
摘要
本文介绍 LLMServingSim2.0，这是一个用于探索大规模 LLM 服务系统中异构硬件的系统仿真器。LLMServingSim2.0 解决了其前身的两个关键局限性：(1) 将硬件模型集成到系统级仿真器具有技术难度，因缺乏明确的抽象框架；(2) 现有仿真器仅支持有限的服务技术子集，缺乏覆盖现代 LLM 服务方法的完整平台。为克服这些问题，LLMServingSim2.0 采用基于轨迹的性能建模，配合操作符级延迟分析器，实现新型加速器的“一键式”集成。进一步嵌入最新的服务技术，提供灵活的接口用于请求路由、缓存管理和调度策略。在 TPU 案例研究中，分析器所需代码量仅为前身硬件仿真集成方式的 18.5 倍，显著优于前身方案，展示了 LLMServingSim2.0 的低成本硬件可扩展性。实验表明，LLMServingSim2.0 能以 1.9% 的误差再现基于 GPU 的 LLM 服务，同时保持实用的仿真时间，构成面向硬件开发者和 LLM 服务提供商的综合性平台。
引用
@article{arxiv.2511.07229,
title = {LLMServingSim2.0: A Unified Simulator for Heterogeneous Hardware and Serving Techniques in LLM Infrastructure},
author = {Jaehong Cho and Hyunmin Choi and Jongse Park},
journal= {arXiv preprint arXiv:2511.07229},
year = {2025}
}
备注
4 pages, 3 figures