本地部署大型语言模型的成本效益分析：与商业 LLM 服务相抵达的关键点
人工智能
2025-11-12 v3 机器学习
摘要
大型语言模型 (LLM) 正变得越来越普遍。希望使用人工智能提升生产力的组织面临一个重要决定：他们可以订阅商业 LLM 服务，还是部署自己的模型。来自 OpenAI、Anthropic 和 Google 等提供商的云服务因提供最先进模型的便捷访问和易于扩展的特性而引人注目。然而，关于数据隐私、难以更换服务提供商以及长期运营成本的关注，正在推动对开源模型本地部署的兴趣。本文提出了一个成本效益分析框架，帮助组织确定在本地部署大型语言模型何时变得经济可行，以相于商业订阅服务。我们考虑了最新开源模型（包括 Qwen、Llama、Mistral 等）的硬件需求、运营费用和性能基准。随后我们将部署这些模型的本地总成本与主要云提供商的订阅费用进行比较。我们的发现提供了一个基于使用水平和性能需求的估计盈亏平衡点。这些结果为组织规划其 LLM 战略提供了实用的框架。
引用
@article{arxiv.2509.18101,
title = {A Cost-Benefit Analysis of On-Premise Large Language Model Deployment: Breaking Even with Commercial LLM Services},
author = {Guanzhong Pan and Vishal Chodnekar and Abinas Roy and Haibo Wang},
journal= {arXiv preprint arXiv:2509.18101},
year = {2025}
}