估算 176B 参数语言模型 BLOOM 的碳足迹
机器学习
2022-11-04 v1
摘要
机器学习（ML）的进步伴随着环境代价，因为训练 ML 模型需要大量的计算资源、能源与材料。在本文中，我们旨在量化 1760 亿参数语言模型 BLOOM 在其生命周期中的碳足迹。我们估计，若仅考虑动态功耗，BLOOM 的最终训练排放约 24.7 吨 \carboneq；若计入从设备制造到基于能源的运行消耗的所有过程，则为 50.5 吨。我们还研究了通过其 API 端点实时接收用户查询进行推理部署的能源需求与碳排放。最后我们讨论了精确估算 ML 模型碳足迹的困难，以及有助于改进碳排放报告的未来研究方向。
引用
@article{arxiv.2211.02001,
title = {Estimating the Carbon Footprint of BLOOM, a 176B Parameter Language Model},
author = {Alexandra Sasha Luccioni and Sylvain Viguier and Anne-Laure Ligozat},
journal= {arXiv preprint arXiv:2211.02001},
year = {2022}
}