E2-Train：以超过80%的能耗节省训练最先进的CNN
机器学习
2019-12-09 v4 机器学习
摘要
卷积神经网络（CNNs）已日益部署到边缘设备上。因此，人们已在资源受限平台上的高效CNN推理方面做出了许多努力。本文尝试探索一个正交的方向：如何进行更节能的CNN训练，以实现设备端训练。我们致力于从三个互补的层面减少训练过程中的能耗：数据层面的随机小批量丢弃；模型层面的选择性层更新；以及算法层面的用于低成本、低精度反向传播的符号预测。基于FPGA板上的真实能耗测量，广泛的仿真与消融研究证实了我们所提策略的优越性，并展示了训练过程中显著的能耗节省。例如，在CIFAR-10上训练ResNet-74时，我们分别实现了>90%和>60%的大幅能耗节省，而仅分别带来约2%和1.2%的top-1精度损失。在CIFAR-100上训练ResNet-110时，实现了超过84%的训练能耗节省且不降低推理精度。
引用
@article{arxiv.1910.13349,
title = {E2-Train: Training State-of-the-art CNNs with Over 80% Energy Savings},
author = {Yue Wang and Ziyu Jiang and Xiaohan Chen and Pengfei Xu and Yang Zhao and Yingyan Lin and Zhangyang Wang},
journal= {arXiv preprint arXiv:1910.13349},
year = {2019}
}