An Analysis of Optimizer Choice on Energy Efficiency and Performance in Neural Network Training

随着机器学习模型日益复杂和计算密集，理解训练决策的环境影响对于可持续的人工智能开发至关重要。本文进行了一项全面的实证研究，探讨优化器选择与能源效率在神经网络训练中的关系。我们在三个基准数据集(MNIST, CIFAR-10, CIFAR-100)上进行了360次受控实验，使用八种流行的优化器(SGD, Adam, AdamW, RMSprop, Adagrad, Adadelta, Adamax, NAdam)，每个实验使用15个随机种子。使用CodeCarbon对Apple M1 Pro硬件上的训练进行精确能耗跟踪，我们测量了训练持续时间、峰值内存使用、碳排放量以及最终模型性能。我们的发现揭示了训练速度、准确度和环境影响之间的重大权衡，这些权衡在数据集和模型复杂度不同时表现不同。我们确定AdamW和NAdam是始终高效的选择，而SGD在复杂数据集上表现出色，尽管排放量更高。这些结果为寻求在机器学习工作流程中平衡性能和可持续性的实践者提供了可操作的见解。