更多花费以节省更多（SM2）：面向可持续超参数优化的能源感知成功折半实现
机器学习
2024-12-12 v1
摘要
机器学习模型开发中的一个基本步骤是调优超参数，常常需要进行多个模型训练运行以确定最佳配置。随着机器学习任务和模型的复杂度不断增加，亟需寻求解决方案，不仅要提升性能，还要解决可持续性问题。现有策略主要侧重于最大化模型性能，而不考虑能源效率。为弥合这一差距，本文提出了更多花费以节省更多（SM2），这是一种基于广泛采用的成功折半算法的能源感知超参数优化实现。不同于包括耗能的单个超参数配置测试的常规方法，SM2 采用探索性预训练来识别低能耗的低效配置。结合硬件特征和实时能耗跟踪，SM2 识别出既能最大化模型性能又能实现能源高效训练的优化配置。跨各种数据集、模型和硬件 setup 的实验验证表明，SM2 能有效防止在超参数配置训练期间浪费能源。
引用
@article{arxiv.2412.08526,
title = {Spend More to Save More (SM2): An Energy-Aware Implementation of Successive Halving for Sustainable Hyperparameter Optimization},
author = {Daniel Geissler and Bo Zhou and Sungho Suh and Paul Lukowicz},
journal= {arXiv preprint arXiv:2412.08526},
year = {2024}
}