基于梯度的深度学习的失败
机器学习
2017-04-28 v2 神经与进化计算
机器学习
摘要
近年来，深度学习已成为广泛应用的默认解决方案，通常超越了现有最优水平。然而，对于理论学家和实践者而言，深入理解与常用方法和算法相关的困难与局限性是至关重要的。我们描述了四类简单问题，对于这些问题，深度学习中常用的基于梯度的算法要么失败，要么面临显著困难。我们通过实际实验说明了这些失败，并提供了理论见解以解释其根源以及可能的补救措施。
引用
@article{arxiv.1703.07950,
title = {Failures of Gradient-Based Deep Learning},
author = {Shai Shalev-Shwartz and Ohad Shamir and Shaked Shammah},
journal= {arXiv preprint arXiv:1703.07950},
year = {2017}
}