微调 BERT 的能源与碳排放考量

Xiaorong Wang; Clara Na; Emma Strubell; Sorelle Friedler; Sasha Luccioni

doi:10.18653/v1/2023.findings-emnlp.607

微调 BERT 的能源与碳排放考量

计算与语言 2024-10-17 v2 机器学习

作者: Xiaorong Wang , Clara Na , Emma Strubell , Sorelle Friedler , Sasha Luccioni

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

尽管“预训练然后微调”范式在自然语言处理（NLP）界广受欢迎，现有量化能源成本及相关碳排放的工作主要集中于语言模型预训练。虽然单次预训练运行比微调消耗显著更多的能源，但微调由更多个体参与者更频繁地执行，因此在考量 NLP 的能源与碳足迹时必须将其纳入。为了更好地刻画微调在 NLP 能源与碳排放格局中的角色，我们对跨任务、数据集、硬件基础设施和测量模态的微调计算成本进行了严谨的实证研究。我们的实验结果使我们能够将微调的能源与碳排放成本相对于预训练和推理置于合理视角，并为希望提升微调能源效率的 NLP 研究者和从业者提出建议。

关键词

BERT 微调能源消耗碳排放自然语言处理预训练推理

引用

@article{arxiv.2311.10267,
  title  = {Energy and Carbon Considerations of Fine-Tuning BERT},
  author = {Xiaorong Wang and Clara Na and Emma Strubell and Sorelle Friedler and Sasha Luccioni},
  journal= {arXiv preprint arXiv:2311.10267},
  year   = {2024}
}

备注

EMNLP 2023 Findings; First two authors contributed equally; 12 pages

微调 BERT 的能源与碳排放考量

摘要

关键词

引用

备注

相关论文