神经网络优化中的维数诅咒

本文证明,当使用经验风险或总体风险训练具有 Lipschitz 连续激活函数的浅层神经网络以逼近在 [0,1]^d 上的 r 次连续可微目标函数时,总体风险的衰减速率可能不快于 $t^{-\frac{4r}{d-2r}}$,其中 $t$ 表示梯度流动力学的时间参数。该结果阐明了在实现所需精度所需的优化计算中存在维数诅咒。本文未直接分析参数演化,而是通过分析在 2-Wasserstein 梯度流下参数分布的演化来考察训练动力学。进一步证明,当采用局部 Lipschitz 连续激活函数时,维数诅咒仍然存在,其中 $[-x,x]$ 区间内的 Lipschitz 常数受到 $O(x^\delta)$ 的限制。在这种情况下,总体风险的衰减速率不快于 $t^{-\frac{(4+2\delta)r}{d-2r}}$。了解函数光滑性如何影响神经网络优化理论中的维数诅咒是本工作旨在解决的重要且尚未充分探讨的方向。