语言模型的推理经济学
机器学习
2025-06-06 v1 分布式、并行与集群计算
摘要
我们构建了一个理论模型，以解决在大规模部署语言模型进行推理时，单字成本与串行字生成速度之间的经济权衡。我们的模型考虑了算术、内存带宽、网络带宽和延迟约束；并针对不同的并行设置和批量大小进行优化，以找到在给定单字成本下优化串行推理速度的设置。我们利用该模型计算了流行语言模型的串行速度与单字成本的帕累托前沿。
引用
@article{arxiv.2506.04645,
title = {Inference economics of language models},
author = {Ege Erdil},
journal= {arXiv preprint arXiv:2506.04645},
year = {2025}
}