Green AI：探索大语言模型训练中的碳足迹、缓解策略与权衡
计算与语言
2024-04-02 v1 性能
摘要
自然语言处理领域的杰出研究长期以来一直试图通过改进先前的模型训练方法、改变模型架构以及开发更深入的数据集来创建新的创新模型，以提升其性能。然而，随着NLP领域的快速发展，温室气体排放量也在增加，引发了人们对训练LLMs所造成环境破坏的担忧。全面了解与人工智能相关的各种成本，特别是与环境相关的成本，是确保AI模型安全的基础。目前，对AI模型CO2排放的研究仍是一个新兴领域，因此，本文评估了知名大语言模型的CO2排放量，由于其庞大的模型参数量，这些模型具有极高的碳足迹。我们主张以负责任和可持续的方式训练LLMs，并提出了减少碳排放的措施。此外，我们通过对比两种广泛使用的GPU在模型训练期间的CO2排放量，讨论了硬件选择如何影响CO2排放。基于我们的结果，我们提出了所提解决方案的优缺点，并论证了在不牺牲鲁棒性和性能的情况下训练更具环境安全性AI模型的可能性。
引用
@article{arxiv.2404.01157,
title = {Green AI: Exploring Carbon Footprints, Mitigation Strategies, and Trade Offs in Large Language Model Training},
author = {Vivian Liu and Yiqiao Yin},
journal= {arXiv preprint arXiv:2404.01157},
year = {2024}
}