半隐式反向传播

神经网络长期以来备受关注，许多研究者致力于改进神经网络训练算法的有效性。尽管随机梯度下降（SGD）及其他显式基于梯度的方法被广泛采用，仍存在诸多挑战，如梯度消失与步长过小，导致SGD算法收敛缓慢且不稳定。受误差反向传播（BP）与邻近点法启发，我们提出一种用于神经网络训练的半隐式反向传播方法。与BP类似，神经元上的差异以反向方式传播，参数通过邻近映射更新。对隐藏神经元与参数的隐式更新允许在训练算法中选择较大步长。最后，我们还证明该算法所产生的收敛序列的任意不动点均为目标损失函数的驻点。在MNIST与CIFAR-10上的实验表明，相较于SGD与类似算法ProxBP，所提出的半隐式BP算法在损失下降及训练/验证准确率方面均带来更优性能。