一种无梯度下降的新反向传播算法
机器学习
2018-02-02 v1
摘要
反向传播算法最初于20世纪70年代引入，是神经网络学习的支柱。该反向传播算法利用了著名的机器学习算法——梯度下降，这是一种用于寻找函数最小值的一阶迭代优化算法。要使用梯度下降找到函数的局部最小值，需采取与函数在当前点的梯度（或近似梯度）负值成比例的步长。在本文中，我们开发了一种不使用梯度下降算法的反向传播替代方案，而是设计一种新算法，利用摩尔-彭罗斯伪逆来寻找人工神经元权重和偏置中的误差。在各种数据集上进行的数值研究和实验用于验证该替代算法的工作。
引用
@article{arxiv.1802.00027,
title = {A New Backpropagation Algorithm without Gradient Descent},
author = {Varun Ranganathan and S. Natarajan},
journal= {arXiv preprint arXiv:1802.00027},
year = {2018}
}
备注
15 pages, 13 figures