关于训练神经网络的计算效率
机器学习
2014-10-29 v2 人工智能
机器学习
摘要
众所周知，神经网络的训练在计算上是困难的。另一方面，在实践中，现代神经网络利用随机梯度下降 (SGD) 以及各种技巧进行高效训练，这些技巧包括不同的激活函数（如 ReLU）、过参数化（即训练比所需更大的网络）以及正则化。本文从现代视角重新审视了训练神经网络的计算复杂性。我们提供了正面和反面的结果，其中一些结果产生了用于训练某些类型神经网络的新的可证明高效且实用的算法。
引用
@article{arxiv.1410.1141,
title = {On the Computational Efficiency of Training Neural Networks},
author = {Roi Livni and Shai Shalev-Shwartz and Ohad Shamir},
journal= {arXiv preprint arXiv:1410.1141},
year = {2014}
}
备注
Section 2 is revised due to a mistake