LLM 推理服务：近期进展与机遇综述
分布式、并行与集群计算
2024-07-18 v1 人工智能
摘要
本综述提供了关于大语言模型 (LLM) 服务系统近期进展的全面概述，重点关注 2023 年以来的研究。我们特别审视那些在不改变核心 LLM 解码机制的情况下提升性能和效率的系统级改进。通过选取来自顶尖机器学习和系统会议的高质量论文，我们突出显示了关键创新和实际部署和规模化 LLM 的关键考虑因素。本综述为寻求了解此快速演进领域最新动态的 LLM 从业者提供了宝贵资源。
引用
@article{arxiv.2407.12391,
title = {LLM Inference Serving: Survey of Recent Advances and Opportunities},
author = {Baolin Li and Yankai Jiang and Vijay Gadepally and Devesh Tiwari},
journal= {arXiv preprint arXiv:2407.12391},
year = {2024}
}