通过方向复杂性与Kakeya 边界推导深度ReLU网络中Adam的收敛性

一阶自适应优化方法如Adam是训练现代深度神经网络的默认选择。尽管其经验成功显著，但在非光滑情形（特别是深度ReLU网络中）的理论理解仍有限。ReLU激活创建指数级的区域边界，导致标准光滑性假设失效。我们推导了Adam在深度ReLU网络中首个 $\tilde{O}\!\bigl(\sqrt{d_{\mathrm{eff}}/n}\bigr)$ 泛化界限，以及在无全局PL或凸性假设下，Adam在非光滑非凸ReLU景观中获得全局最优收敛的首个结果。我们的分析基于分层Morse理论和Kakeya集合的新颖结果。我们构建了多层细化框架，逐步紧致区域跨越的界限。我们证明了区域跨越次数从指数级压缩到有效维度的近线性。基于Kakeya 方法，我们给出的泛化界限比PAC-Bayes 方法更紧致，并通过轻微的统一低阻挡假设展示了收敛性。