方差缩减优化在深度学习中的无效性
机器学习
2019-11-21 v2 机器学习
摘要
随机方差缩减在优化中的应用近年来已展现出显著的理论与实践成功。这些技术是否适用于训练现代深度神经网络时遇到的困难非凸优化问题，是一个开放问题。我们表明，朴素地应用 SVRG 技术及相关方法会失败，并探究其原因。
引用
@article{arxiv.1812.04529,
title = {On the Ineffectiveness of Variance Reduced Optimization for Deep Learning},
author = {Aaron Defazio and Léon Bottou},
journal= {arXiv preprint arXiv:1812.04529},
year = {2019}
}