神经网络上的 SGD 学习：跳跃复杂度与鞍点到鞍点动态
机器学习
2023-09-04 v2 机器学习
摘要
我们研究各向同性数据上全连接神经网络的 SGD 学习的时间复杂度。我们提出一种复杂度度量——跳跃（leap）——用以衡量目标函数的“层次性”程度。对于 维均匀布尔或各向同性高斯数据，我们的主要猜想指出，学习具有低维支撑的函数 的时间复杂度为 。我们在附加技术假设（关于 SGD 运行方式）下，对高斯各向同性数据上的一类函数与 2 层神经网络证明了该猜想的一个版本。我们展示训练以鞍点到鞍点的动态依次学习函数支撑。我们的结果超越了 [Abbe et al. 2022]，扩展到跳跃大于 1（合并阶梯函数）的情形，并超越了禁止此处获得的完整复杂度控制的平均场与梯度流近似。最后，我们注意到这给出了与相关性统计查询（CSQ）下界相匹配的完整训练轨迹的 SGD 复杂度。
引用
@article{arxiv.2302.11055,
title = {SGD learning on neural networks: leap complexity and saddle-to-saddle dynamics},
author = {Emmanuel Abbe and Enric Boix-Adsera and Theodor Misiakiewicz},
journal= {arXiv preprint arXiv:2302.11055},
year = {2023}
}