基于直接反馈对齐的高效卷积神经网络训练
机器学习
2019-01-09 v1 机器学习
摘要
曾有众多算法用于替代深度神经网络（DNN）训练中的反向传播（BP）。然而，它们未能流行，因为其训练精度和计算效率不如 BP。其中之一是直接反馈对齐（DFA），但它在卷积神经网络（CNN）上表现出较低的训练性能。本文中，我们通过在 CNN 训练期间将其与传统 BP 结合，克服了 DFA 算法的局限。为提高训练稳定性，我们还通过分析 DFA 中固定随机矩阵的模式，提出了反馈权重初始化方法。最后，我们提出新的训练算法——二值直接反馈对齐（BDFA），以在保持与 DFA 相当的训练精度的同时最小化计算成本。在我们的实验中，我们使用 CIFAR-10 和 CIFAR-100 数据集模拟从零开始的 CNN 学习，并将 BDFA 应用于基于在线学习的物体跟踪应用，以检验在小数据集环境下的训练。我们提出的算法在两项不同的训练任务中均展现出优于传统 BP 的性能，尤其在数据集较小时。
引用
@article{arxiv.1901.01986,
title = {Efficient Convolutional Neural Network Training with Direct Feedback Alignment},
author = {Donghyeon Han and Hoi-jun Yoo},
journal= {arXiv preprint arXiv:1901.01986},
year = {2019}
}
备注
The paper was submitted to ICLR 2019