结构神经密度估计的维数独立收敛率

我们证明深度神经网络在学习诸如图像、音频、视频和文本等应用中出现的结构化密度时，能够实现维数独立的收敛率。更准确地说，我们展示了具有简单 $L^2$-最小化损失的神经网络在当底层密度对最大团大小至多为 $r$ 的图的马尔可夫网络具有马尔可夫性时，能够达到 $n^{-1/(4+r)}$ 的收敛率，我们提供了证据表明在上述应用中，这种规模通常是常数的，即 $r=O(1)$。我们随后建立了 $L^1$ 中的最优收敛率为 $n^{-1/(2+r)}$，这与标准非参数收敛率 $n^{-1/(2+d)}$ 比较，揭示了此类问题的有效维数是马尔可夫随机场中最大团的大小。这些速率独立于数据基准维数，使其适用于图像、声音、视频和文本数据的真实模型。我们的结果为深度学习在这些情境下规避维数诅咒提供了新的依据，展示了在这些情境下的维数独立收敛率。