训练的力量：不同神经网络设置如何影响能源需求
机器学习
2024-10-08 v4 人工智能
性能
摘要
本工作从生命周期意识的角度，对机器学习训练方案和学习范式的变化对计算能耗（尤其是 HPC 硬件）的影响进行了启发式评估。虽然数据可用性的增加和高性能硬件的创新推动了复杂模型的训练，但也助长了对能耗和碳排放的忽视。因此，本工作的目标是提高对通用训练参数和过程（从学习率、批量大小到知识迁移）的能源影响的认识。在三种不同的硬件系统上评估了具有不同超参数配置的多种设置。在众多结果中，我们发现，即使使用相同的模型和硬件以达到相同的精度，设置不当的训练超参数消耗的能量可达最优设置的 5 倍。我们还广泛研究了学习范式的节能效益，包括通过预训练回收知识和通过多任务训练共享知识。
引用
@article{arxiv.2401.01851,
title = {The Power of Training: How Different Neural Network Setups Influence the Energy Demand},
author = {Daniel Geißler and Bo Zhou and Mengxi Liu and Sungho Suh and Paul Lukowicz},
journal= {arXiv preprint arXiv:2401.01851},
year = {2024}
}