磨光网络
机器学习
2016-08-18 v1 神经与进化计算
摘要
由于损失函数高度非凸的性质，深度神经网络的优化可能比传统凸优化问题更具挑战性，例如，它可能涉及病态景观，如鞍面，基于简单梯度下降的算法难以逃离。在本文中，我们通过从一个平滑——或磨光（mollified）——的目标函数开始来解决高度非凸神经网络的优化问题，该函数在训练过程中逐渐具有更非凸的能量景观。我们的提议受到延续方法近期研究的启发：类似于课程方法，我们开始学习一个更容易（可能是凸的）目标函数，并让其在训练过程中演化，直到最终变回原本难以优化的目标函数。磨光网络的复杂度由单个超参数控制，该超参数在训练中被退火。我们在各种困难优化任务上展示了改进，并建立了与神经网络延续方法和磨光器近期工作的联系。
引用
@article{arxiv.1608.04980,
title = {Mollifying Networks},
author = {Caglar Gulcehre and Marcin Moczulski and Francesco Visin and Yoshua Bengio},
journal= {arXiv preprint arXiv:1608.04980},
year = {2016}
}