NeuralPower：预测与部署能效卷积神经网络
机器学习
2017-10-17 v1 性能
机器学习
摘要
「卷积神经网络(CNN)的一次推理消耗多少能量？」随着 CNN 在从移动设备到工作站等广泛平台上部署的日益普及，对这一问题的回答引起了广泛关注。从延长移动设备电池寿命到降低数据中心能耗，在实际训练模型之前理解 CNN 在推理服务过程中的能效至关重要。在本工作中，我们提出了 NeuralPower：一种基于稀疏多项式回归的逐层预测框架，用于预测部署在任意 GPU 平台上的 CNN 的服务能耗。给定 CNN 的架构，NeuralPower 可以对整个网络的所有层提供精确的功耗与运行时间预测及分解，帮助机器学习研究者快速识别功耗、运行时间或能效瓶颈。我们还提出了「能效-精度比」(EPR) 指标，以指导机器学习研究者选择能效更高的 CNN 架构，更好地权衡能耗与预测精度。实验结果表明，NeuralPower 的预测精度优于迄今发表的最佳模型，精度提升高达 68.5%。我们还通过在网络层面预测最先进的 CNN 架构的运行时间、功耗与能效来评估预测精度，分别取得了运行时间 88.24%、功耗 88.34%、能效 97.21% 的平均准确率。我们在不同的 GPU 平台和深度学习软件工具上全面验证了 NeuralPower 作为机器学习研究者强大框架的有效性。
引用
@article{arxiv.1710.05420,
title = {NeuralPower: Predict and Deploy Energy-Efficient Convolutional Neural Networks},
author = {Ermao Cai and Da-Cheng Juan and Dimitrios Stamoulis and Diana Marculescu},
journal= {arXiv preprint arXiv:1710.05420},
year = {2017}
}
备注
Accepted as a conference paper at ACML 2017