直接反馈对齐在卷积与循环神经网络中的扩展以实现生物可信深度学习
机器学习
2020-06-25 v1 神经与进化计算
机器学习
摘要
本文中，我们专注于改进直接反馈对齐（DFA）算法，并将DFA的使用扩展至卷积神经网络和循环神经网络（CNN和RNN）。尽管DFA算法具有生物可信性且具备高速训练的潜力，但由于在CNN和RNN训练中精度较低，它一直未被视为反向传播（BP）的替代方案。本工作中，我们提出了一种可实现BP级精度的CNN和RNN训练的新DFA算法。首先，我们将网络划分为若干模块，并在模块内应用DFA算法。其次，应用具有稀疏反向权重的DFA。在CNN情形下，其表现为扩张卷积的形式；在RNN情形下，表现为稀疏矩阵乘法的形式。此外，通过分组卷积，CNN的误差传播方法得以简化。最后，混合DFA在保持DFA算法并行性与硬件效率优势的同时，将CNN和RNN训练的精度提升至BP级。
引用
@article{arxiv.2006.12830,
title = {Extension of Direct Feedback Alignment to Convolutional and Recurrent Neural Network for Bio-plausible Deep Learning},
author = {Donghyeon Han and Gwangtae Park and Junha Ryu and Hoi-jun Yoo},
journal= {arXiv preprint arXiv:2006.12830},
year = {2020}
}
备注
Submitted to WACV2021