神经语言模型的绿色程度：文本摘要微调中的能源消耗分析
计算与语言
2025-03-17 v3
摘要
人工智能系统对环境产生显著影响，尤其是在自然语言处理（NLP）任务中。这些任务通常需要大量计算资源来训练深度神经网络，包括包含数十亿参数的大型语言模型。本研究分析了能源消耗与性能之间的权衡，针对三个神经语言模型进行分析：两个预训练模型（T5-base和BART-base）以及一个大型语言模型（LLaMA-3-8B）。这些模型被微调用于文本摘要任务，聚焦于生成概述每篇论文核心主题的研究摘要。对每个模型的微调碳足迹进行测量，提供了其环境影响的全面评估。观察到LLaMA-3-8B在三个模型中产生最大的碳足迹。采用广泛的评估指标，包括ROUGE、METEOR、MoverScore、BERTScore和SciBERTScore，对模型在给定任务上的性能进行评估。本研究凸显了将环境考虑纳入神经语言模型设计和实施中的重要性，呼吁发展更高效的AI方法。
引用
@article{arxiv.2501.15398,
title = {How Green are Neural Language Models? Analyzing Energy Consumption in Text Summarization Fine-tuning},
author = {Tohida Rehman and Debarshi Kumar Sanyal and Samiran Chattopadhyay},
journal= {arXiv preprint arXiv:2501.15398},
year = {2025}
}