一种免于局部极小值的回归型多层感知机神经网络训练算法
机器学习
2023-08-23 v1 信号处理
摘要
本文提出了一种创新的回归型 MLP 网络训练方法，该方法不受局部极小值的影响。由 William-Hinton-Rummelhart 提出的误差反向传播（Error-Back-Propagation）算法，其功绩在于推动了机器学习技术的发展，自 1980 年代中期以来已渗透到研究与技术的各个分支。这一非凡成功在很大程度上归功于黑盒方法，但正如人们很快在应对更具挑战性的问题时所看到的，这一因素也被视为一种局限。训练算法最关键的方面之一是损失函数（通常为训练集上输出的均方误差）的局部极小值问题。事实上，由于最流行的训练算法由损失函数的导数驱动，无法判断所达到的极小值是局部的还是全局的。本文提出的算法避免了局部极小值问题，因为其训练基于训练集分布的性质，或更准确地说基于其在神经网络内部的像。该算法的性能在一个知名的基准上得到了展示。
引用
@article{arxiv.2308.11532,
title = {A free from local minima algorithm for training regressive MLP neural networks},
author = {Augusto Montisci},
journal= {arXiv preprint arXiv:2308.11532},
year = {2023}
}
备注
9 pages, 4 figures, theoretical work