ZORB：一种用于神经网络的无导数反向传播算法
机器学习
2020-11-19 v1 神经与进化计算
机器学习
摘要
梯度下降和反向传播使神经网络在许多实际应用中取得了显著成果。尽管持续取得成功，但用梯度下降训练神经网络可能是一个缓慢而费力的过程。我们提出了一种简单但更快的训练算法，称为零阶松弛反向传播（ZORB）。ZORB 不计算梯度，而是使用目标的伪逆来反向传播信息。ZORB 旨在减少训练深度神经网络所需的时间，且不牺牲性能。为了说明加速效果，我们在 MNIST 上训练了一个 11 层的前馈神经网络，观察到 ZORB 的收敛速度比 Adam 快 300 倍，且在没有任何超参数调优的情况下达到了可比的错误率。我们还将 ZORB 的适用范围扩展到卷积神经网络，并将其应用于 CIFAR-10 数据集的子样本。在标准分类和回归基准上的实验表明，ZORB 优于传统的基于梯度下降的反向传播。
引用
@article{arxiv.2011.08895,
title = {ZORB: A Derivative-Free Backpropagation Algorithm for Neural Networks},
author = {Varun Ranganathan and Alex Lewandowski},
journal= {arXiv preprint arXiv:2011.08895},
year = {2020}
}
备注
To appear in "Beyond Backpropagation - Novel Ideas for Training Neural Architectures" Workshop at NeurIPS 2020