以 Commonsense Question Answering 为例报告与分析语言模型的环境影响

人类产生的排放正在以惊人的速度增长，导致气候和环境发生可观变化。每年，全球二氧化碳排放量都创下新纪录，报告称 2021 年数据中心的排放量占美国总排放量的 0.5%。2022 年底 ChatGPT 的发布引发了对大型语言模型 (LLM) 的社会关注，这些模型拥有大量参数并在海量数据上进行训练。目前，众多公司正在推出各种 LLM 的产品，更多的模型正在开发中并待发布。深度学习是一项竞争性强的领域，只有达到顶级性能的模型才会受到关注并被利用。因此，往往首先优先考虑更好的准确率和结果，而忽略了模型的效率以及研究的环境影响。然而，LLM 需要大量计算资源，训练成本高昂，既财务上也环境上都昂贵。因此，有必要提高意识，促进对算法和硬件选择的审慎决策。提供关于训练时间、约略二氧化碳排放量和能源消耗的信息，将帮助未来的研究进行必要的调整，并确定可用计算资源是否与模型需求相匹配。本研究将 T5 LLM 注入外部知识，并对其进行微调以完成问答任务。此外，我们计算并报告了这两个步骤的约略环境影响。研究结果表明，较小的模型并不总是可持续的选择，增加的训练并不总是意味着更好的性能。通过仔细考虑性能和效率因素，才能实现最佳结果。