一种用于深度神经网络训练的两阶段子空间信赖域方法
计算机视觉与模式识别
2018-05-25 v1
摘要
本文中，我们提出了一种用于训练前馈神经网络的新型二阶方法。在每次迭代中，我们在低维子空间中对代价函数构造二次近似。我们通过两阶段过程在信赖域内最小化该近似：首先在嵌入的正曲率子空间内，随后进行一次梯度下降步。该方法带来了目标函数的快速衰减，防止收敛到鞍点，并减轻了手动调参的需要。我们在基准数据集上展示了所提算法的良好性能。
引用
@article{arxiv.1805.09430,
title = {A Two-Stage Subspace Trust Region Approach for Deep Neural Network Training},
author = {Viacheslav Dudar and Giovanni Chierchia and Emilie Chouzenoux and Jean-Christophe Pesquet and Vladimir Semenov},
journal= {arXiv preprint arXiv:1805.09430},
year = {2018}
}
备注
EUSIPCO 2017