THOR：面向设备端的深度神经网络能耗估计的通用方法
机器学习
2025-01-29 v1
摘要
电池供电的移动设备（如智能手机、AR/VR 眼镜以及各种物联网设备）因计算能力的提升以及易于获取宝贵、多样且实时数据而日益常用于 AI 训练。设备端训练能耗高昂，因此准确的能耗估计对于有效的作业调度和可持续 AI 至关重要。然而，设备异构性和模型复杂性挑战了现有估计方法的准确性和通用性。本文提出了 THOR，这是一种用于深度神经网络（DNN）训练能耗估计的通用方法。首先，我们检验 DNN 的分层能耗可加性特性，并策略性地将整个模型划分为各层，以进行细粒度的能耗轮廓分析。随后，我们对各层能耗测量数据拟合高斯过程（GP）模型，以基于分层能耗可加性属性估算 DNN 的总体能耗。我们在各种实际平台上对多种类型的模型进行了大量实验。结果表明，THOR 将平均绝对百分比误差（MAPE）有效降低了最高可达 30%。此外，THOR 被用于指导能耗感知剪枝，成功将能耗降低 50%，进一步证明了其通用性和潜力。
引用
@article{arxiv.2501.16397,
title = {THOR: A Generic Energy Estimation Approach for On-Device Training},
author = {Jiaru Zhang and Zesong Wang and Hao Wang and Tao Song and Huai-an Su and Rui Chen and Yang Hua and Xiangwei Zhou and Ruhui Ma and Miao Pan and Haibing Guan},
journal= {arXiv preprint arXiv:2501.16397},
year = {2025}
}
备注
Under review