逐层噪声最大化以训练低能耗深度神经网络
机器学习
2019-12-24 v1 机器学习
摘要
深度神经网络（DNNs）依赖于大量参数的存储，这在推理期间消耗了相当一部分能量。本文考虑存储单元的能量使用可以可靠性降低为代价而减少的情形。提出了一种训练算法，对网络每一层的存储可靠性分别进行优化，同时与常规随机梯度下降训练相比带来可忽略的复杂度开销。对于指数型能量-可靠性模型，所提训练方法在同等精度下，可使具有二值参数的 DNN 的存储能耗相比可靠实现降低 3.3。
引用
@article{arxiv.1912.10764,
title = {Layerwise Noise Maximisation to Train Low-Energy Deep Neural Networks},
author = {Sébastien Henwood and François Leduc-Primeau and Yvon Savaria},
journal= {arXiv preprint arXiv:1912.10764},
year = {2019}
}
备注
To be presented at AICAS 2020