自然语言处理中深度学习的能耗与策略考量
计算与语言
2019-06-07 v1
摘要
硬件与神经网络训练方法的最新进展催生了新一代在海量数据上训练的大规模网络。这些模型在许多自然语言处理（NLP）任务中取得了显著的准确率提升。然而，这些准确率的提升依赖于极其庞大的计算资源，而这必然带来同样巨大的能耗。因此，这些模型在训练与开发上成本高昂：一方面在财务上，源于硬件、电力或云计算时间的开销；另一方面在环境上，源于驱动现代张量处理硬件所需的碳足迹。在本文中，我们通过量化近期多种成功用于 NLP 的神经网络模型训练的大致财务与环境成本，将这一问题提请 NLP 研究者关注。基于这些发现，我们提出了可操作的建议，以降低 NLP 研究与实践中的成本并改善公平性。
引用
@article{arxiv.1906.02243,
title = {Energy and Policy Considerations for Deep Learning in NLP},
author = {Emma Strubell and Ananya Ganesh and Andrew McCallum},
journal= {arXiv preprint arXiv:1906.02243},
year = {2019}
}
备注
In the 57th Annual Meeting of the Association for Computational Linguistics (ACL). Florence, Italy. July 2019