一种用于神经网络训练节能反向传播的梯度交错调度器
信号处理
2023-02-27 v1
摘要
本文针对使用新型梯度交错方法、采用收缩阵列架构训练神经网络加速器的设计问题。训练神经网络涉及误差的反向传播以及关于激活函数和权重的梯度计算。研究表明，关于激活函数的梯度可使用权重静止收缩阵列计算，而关于权重的梯度可使用输出静止收缩阵列计算。所提方法的新颖之处在于将这两种梯度的计算交错到同一可配置收缩阵列上。这导致一个计算中的变量被另一个计算重用，并消除了不必要的内存访问。所提方法在周期数上节省 1.4 至 2.2 倍，在内存访问上节省 。因此，所提加速器降低了延迟和能耗。
引用
@article{arxiv.2002.05529,
title = {A Gradient-Interleaved Scheduler for Energy-Efficient Backpropagation for Training Neural Networks},
author = {Nanda Unnikrishnan and Keshab K. Parhi},
journal= {arXiv preprint arXiv:2002.05529},
year = {2023}
}
备注
Proc. 2020 IEEE International Symposium on Circuits and Systems (ISCAS)