学习神经网络的计算复杂性：光滑性与退化性
机器学习
2023-10-05 v2 机器学习
摘要
理解神经网络何时能被高效学习是学习理论中的基本问题。现有的困难性结果表明，要获得高效算法，必须对输入分布和网络权重都施加假设。此外，先前研究表明，在输入分布为高斯分布且权重矩阵非退化的假设下，深度为 2 的网络可被高效学习。在本工作中，我们研究此类假设是否足以学习更深的网络，并证明了否定结果。我们表明，在平滑分析框架下，即便向网络参数加入随机噪声，高斯输入分布下学习深度为 3 的 ReLU 网络仍是困难的。这意味着高斯分布下学习深度为 3 的 ReLU 网络是困难的，即便权重矩阵是非退化的。此外，我们考虑深度为 2 的网络，并证明了在平滑分析框架下学习的困难性，其中网络参数和输入分布均被平滑。我们的困难性结果基于一个被广泛研究的局部伪随机数生成器存在性假设。
引用
@article{arxiv.2302.07426,
title = {Computational Complexity of Learning Neural Networks: Smoothness and Degeneracy},
author = {Amit Daniely and Nathan Srebro and Gal Vardi},
journal= {arXiv preprint arXiv:2302.07426},
year = {2023}
}
备注
Changed the title, and made some other minor modifications. arXiv admin note: text overlap with arXiv:2101.08303