论深度学习的非普适性：对称性代价的量化
机器学习
2022-10-17 v2
摘要
我们证明了经噪声梯度下降（GD）训练的神经网络所能高效学习的函数的局限性。我们的结果适用于任何 GD 训练为等变的情形，这对许多标准架构与初始化成立。作为应用，（i）我们刻画了全连接网络在二元超立方体与单位球面上所能弱学习的函数，表明在此任务中深度 2 与任意其他深度同样强大；（ii）我们将具有潜在低维结构学习所需的合并阶梯必要性结果 [ABM22] 推广至平均场机制之外。在密码学假设下，我们还展示了由随机梯度下降（SGD）训练的全连接网络学习的困难性结果。
引用
@article{arxiv.2208.03113,
title = {On the non-universality of deep learning: quantifying the cost of symmetry},
author = {Emmanuel Abbe and Enric Boix-Adsera},
journal= {arXiv preprint arXiv:2208.03113},
year = {2022}
}
备注
Improved exposition, to appear in NeurIPS'22