多层感知机中反向传播及其替代方法的比较研究
神经与进化计算
2022-06-14 v1 机器学习
摘要
训练前馈神经网络反向传播（back pass）的事实标准算法是反向传播（BP）。几乎处处可微的激活函数的使用使得通过深度神经网络各层向后传播梯度高效且有效。然而，近年来出现了大量关于反向传播替代方法的研究。该分析主要聚焦于在多层感知机（MLPs）与卷积神经网络（CNNs）中达到最先进（state-of-the-art）精度。在本文中，我们分析 MLPs 中预测与神经元的稳定性与相似性，并提出其中一种算法的一个新变体。
引用
@article{arxiv.2206.06098,
title = {A comparative study of back propagation and its alternatives on multilayer perceptrons},
author = {John Waldo},
journal= {arXiv preprint arXiv:2206.06098},
year = {2022}
}