面向硬件无关评估的能耗归一化
机器学习
2024-09-10 v1
摘要
机器学习 (ML) 模型在信号处理中日益广泛的应用引发了人们对其环境影响的担忧，尤其是在资源密集型的训练阶段。在本研究中，我们提出了一种跨不同硬件平台归一化能耗的新方法，以促进公平且一致的比较。我们通过测量在不同 GPU 上训练不同 ML 架构所消耗的能量来评估不同的归一化策略，重点关注音频标记任务。我们的方法表明，参考点的数量、回归类型以及计算指标的包含情况显著影响归一化过程。我们发现，适当选择两个参考点可提供稳健的归一化，而结合浮点运算次数和参数数量则能提高能耗预测的准确性。通过支持更准确的能耗评估，我们的方法促进了环境可持续 ML 实践的发展。
引用
@article{arxiv.2409.05602,
title = {Normalizing Energy Consumption for Hardware-Independent Evaluation},
author = {Constance Douwes and Romain Serizel},
journal= {arXiv preprint arXiv:2409.05602},
year = {2024}
}