OpenCarbonEval：面向大规模 AI 模型的统一碳排放评估框架
计算机与社会
2024-05-22 v1 机器学习
摘要
近年来，大规模自回归模型在文本或视频生成等各种任务中取得了显著进展。然而，这些模型对环境的影响在很大程度上被忽视了，缺乏对其碳足迹的评估与分析。为填补这一空白，我们提出 OpenCarbonEval，这是一个整合跨模态大规模模型以预测碳排放的统一框架，可为 AI 服务提供商和用户提供预先评估排放的手段，并帮助缓解这些模型带来的环境压力。在 OpenCarbonEval 中，我们提出了一种动态吞吐量建模方法，能够捕捉训练过程中的工作负载与硬件波动，从而实现更精确的排放估算。我们的评估结果表明，OpenCarbonEval 能比以往方法更准确地预测训练排放，并可无缝应用于不同模态的任务。具体而言，我们证明 OpenCarbonEval 在预测视觉模型和语言模型的碳排放方面均取得了优越的性能。通过促进可持续 AI 的开发与部署，OpenCarbonEval 有助于减少大规模模型对环境的影响，为 AI 社区贡献一个更具环境责任感的未来。
引用
@article{arxiv.2405.12843,
title = {OpenCarbonEval: A Unified Carbon Emission Estimation Framework in Large-Scale AI Models},
author = {Zhaojian Yu and Yinghao Wu and Zhuotao Deng and Yansong Tang and Xiao-Ping Zhang},
journal= {arXiv preprint arXiv:2405.12843},
year = {2024}
}