卷积滤波器何时易于学习？
机器学习
2018-03-01 v2 人工智能
计算机视觉与模式识别
最优化与控制
机器学习
摘要
我们分析了用于学习带有修正线性单元（ReLU）激活函数的卷积滤波器的（随机）梯度下降算法的收敛性。我们的分析不依赖于输入分布的任何特定形式，且我们的证明仅使用 ReLU 的定义，这与以往局限于标准高斯输入的研究不同。我们表明，随机初始化的（随机）梯度下降可以在多项式时间内学习卷积滤波器，且收敛速率取决于输入分布的平滑度和图像块的接近度。据我们所知，这是针对非高斯输入分布上基于梯度的算法对卷积滤波器的首个恢复保证。我们的理论也证明了深度神经网络中两阶段学习率策略的合理性。虽然我们的重点是理论性的，但我们也提供了说明我们理论发现的实验。
引用
@article{arxiv.1709.06129,
title = {When is a Convolutional Filter Easy To Learn?},
author = {Simon S. Du and Jason D. Lee and Yuandong Tian},
journal= {arXiv preprint arXiv:1709.06129},
year = {2018}
}
备注
Published as a conference paper at ICLR 2018