利用对称时间稀疏BPTT实现高效RNN训练
机器学习
2023-12-18 v1 神经与进化计算
摘要
循环神经网络（RNN）在时序任务中很有用。然而，训练RNN涉及密集矩阵乘法，需要能够支持大量算术运算和内存访问的硬件。在边缘设备上实现RNN的在线训练需要优化算法，以便在硬件上高效部署。受脉冲神经元模型的启发，Delta RNN在推理过程中利用时间稀疏性，跳过那些激活变化在两个时间步之间低于定义阈值的未激活神经元的隐藏状态更新。本文描述了一种针对Delta RNN的训练算法，该算法在反向传播阶段利用时间稀疏性，以减少边缘训练的计算需求。由于训练过程中前向和反向传播的计算图是对称的，未激活神经元的梯度计算可以被跳过。结果表明，在Fluent Speech Commands数据集上训练一个56k参数的Delta LSTM时，矩阵运算减少了约80%，且精度损失可忽略。针对该训练算法设计的硬件加速器的逻辑仿真显示，在50%-90%的激活稀疏度范围内，矩阵计算速度提升了2-10倍。此外，我们表明所提出的Delta RNN训练将有助于在计算资源有限的边缘设备上进行在线增量学习。
引用
@article{arxiv.2312.09391,
title = {Exploiting Symmetric Temporally Sparse BPTT for Efficient RNN Training},
author = {Xi Chen and Chang Gao and Zuowen Wang and Longbiao Cheng and Sheng Zhou and Shih-Chii Liu and Tobi Delbruck},
journal= {arXiv preprint arXiv:2312.09391},
year = {2023}
}
备注
Accepted by the 38th Annual AAAI Conference on Artificial Intelligence (AAAI-24)