盲下降：梯度下降的前传
机器学习
2020-08-27 v2 机器学习
摘要
我们描述了一种用于神经网络的替代学习方法，称之为盲下降(Blind Descent)。依设计，盲下降不会面临如梯度爆炸或梯度消失等问题。在盲下降中，梯度不用于引导学习过程。在本文中，我们将盲下降呈现为比梯度下降更基础的学习过程。我们还表明梯度下降可视为盲下降算法的一种特例。我们还使用最一般的盲下降算法训练了两种神经网络架构，即多层感知机与卷积神经网络，以展示概念验证。
引用
@article{arxiv.2006.11505,
title = {Blind Descent: A Prequel to Gradient Descent},
author = {Akshat Gupta and Prasad N R},
journal= {arXiv preprint arXiv:2006.11505},
year = {2020}
}
备注
We have discovered a new learning method which does random optimisation and solves the problem of initialisation for backpropagation in global optimisation. However, we also pose open questions that we discovered while performing experiments