永不回溯——一种改进的 EnKF 方法及其在无反向传播神经网络训练中的应用
数值分析
2018-06-01 v2 机器学习
数值分析
神经与进化计算
摘要
本工作中，我们提出一种新的无导数优化方法，并研究其用于训练神经网络。我们的方法受集成卡尔曼滤波（Ensemble Kalman Filter, EnKF）启发，该滤波已成功用于求解涉及大规模、高度非线性动力系统的优化问题。EnKF 方法的一个关键优势是只需前向传播评估而无需其导数。因此，在神经网络背景下，它缓解了对反向传播的需求并大幅降低了内存消耗。然而，该方法并非纯粹的“黑箱”全局优化启发式，因为它高效利用了典型学习问题的结构。Kovachki 与 Stuart 近期展示了 EnKF 用于训练深度神经网络的良好初步结果。我们提出对 EnKF 的一项重要改进，使我们能够证明本方法收敛于强凸函数的最小化子。我们的方法也与隐式滤波相似，并通过一个简单示例展示其用于最小化高度振荡函数的潜力。此外，我们提供数值示例，证明本方法在训练深度神经网络方面的潜力。
引用
@article{arxiv.1805.08034,
title = {Never look back - A modified EnKF method and its application to the training of neural networks without back propagation},
author = {Eldad Haber and Felix Lucka and Lars Ruthotto},
journal= {arXiv preprint arXiv:1805.08034},
year = {2018}
}
备注
10 pages, 2 figures