训练前沿人工智能模型成本不断上升
计算机与社会
2025-02-11 v2
摘要
近年来，训练前沿人工智能模型的成本急剧增长，但关于这些费用规模和增长的公开数据有限。本文开发了一个详细的成本模型来弥补这一空白，通过三种方法估算训练成本，这些方法考虑了硬件、能源、云租赁和员工费用。分析显示，自 2016 年以来，训练计算最密集型模型的摊销成本以每年 2.4 倍的速度急剧增长（90% 置信区间：2.0 倍至 2.9 倍）。对于关键的前沿模型，如 GPT-4 和 Gemini，最显著的支出是人工智能加速器芯片和员工成本，每项成本都高达数千万美元。其他值得注意的成本包括服务器组件（15-22%）、集群级互连（9-13%）和能源消耗（2-6%）。如果开发成本持续增长的趋势继续下去，到 2027 年，最大的训练运行成本将超过 10 亿美元，这意味着只有资金最充足的组织才能为前沿人工智能模型提供资金。
引用
@article{arxiv.2405.21015,
title = {The rising costs of training frontier AI models},
author = {Ben Cottier and Robi Rahman and Loredana Fattorini and Nestor Maslej and Tamay Besiroglu and David Owen},
journal= {arXiv preprint arXiv:2405.21015},
year = {2025}
}