耗能处理：是什么在驱动 AI 部署的成本？
机器学习
2024-10-17 v3
摘要
近年来，基于生成式、多用途 AI 系统的商业 AI 产品 popularity 激增，这类系统承诺以统一方法将机器学习（ML）模型构建到技术中。然而，鉴于这些系统所需的能量及其排放的碳量，这种“通用性”野心对环境造成了高昂代价。在这项工作中，我们首次对各类 ML 系统的持续推理成本进行系统比较，涵盖任务特定（即执行单一任务的微调模型）和“通用”模型（即为多任务训练的模型）。我们将部署成本衡量为使用这些模型在代表性基准数据集上执行 1000 次推理所需的能量和碳量。我们发现，即使控制模型参数数量，多用途生成式架构对于多种任务而言比任务特定系统昂贵数个数量级。我们以对部署多用途生成式 ML 系统当前趋势的讨论作结，并警示应更有意地权衡其效用与能源和排放增加的成本。我们研究的所有数据均可通过交互式演示进行进一步探索和分析。
引用
@article{arxiv.2311.16863,
title = {Power Hungry Processing: Watts Driving the Cost of AI Deployment?},
author = {Alexandra Sasha Luccioni and Yacine Jernite and Emma Strubell},
journal= {arXiv preprint arXiv:2311.16863},
year = {2024}
}