从柯尔莫哥洛夫复杂度视角看随机梯度下降

我们证明随机梯度下降（SGD）能找到一个在整个数据集上达到 $(1-\epsilon)$ 分类精度的解。我们的证明基于两个主要假设：（1. 局部进展）模型精度在批次上平均有所提升。（2. 模型计算简单函数）模型所计算的函数是简单的（具有低柯尔莫哥洛夫复杂度）。只需这些假设在极少的训练轮次中成立即可。直观地说，上述结论意味着 SGD 的间歇性局部进展蕴含全局进展。假设 2 对于欠参数化模型平凡成立，因此我们的工作给出了针对一般欠参数化模型的第一个收敛保证。此外，这是首个完全模型无关的结果——我们不要求模型具有任何特定架构或激活函数，它甚至可能不是神经网络。我们的分析利用了熵压缩方法，该方法由 Moser 和 Tardos 在 Lov\'asz 局部引理的背景下首次提出。