通过能量感知训练最小化深度学习模型的能耗
机器学习
2023-07-04 v1 人工智能
计算机视觉与模式识别
摘要
深度学习模型的参数数量显著增加，导致推理期间执行的操作数量增多。这种扩张极大地加剧了能耗与预测延迟。在本工作中，我们提出EAT，一种基于梯度的算法，旨在降低模型训练期间的能耗。为此，我们利用范数的可微近似，并将其作为训练损失上的稀疏惩罚。通过在三个数据集与两个深度神经网络上开展的实验分析，我们证明我们的能量感知训练算法EAT能够训练出在分类性能与能效之间具有更优权衡的网络。
引用
@article{arxiv.2307.00368,
title = {Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training},
author = {Dario Lazzaro and Antonio Emanuele Cinà and Maura Pintor and Ambra Demontis and Battista Biggio and Fabio Roli and Marcello Pelillo},
journal= {arXiv preprint arXiv:2307.00368},
year = {2023}
}
备注
12 pages, 3 figures. Paper accepted at the 22nd International Conference on Image Analysis and Processing (ICIAP) 2023