基于得分的神经网络生成模型对亚高斯分布的近似与泛化能力

本文研究了基于得分的神经网络生成模型 (SGMs) 在估计来自 n 个独立同分布观测、维数为 d 的未知分布 $P_0$ 时的近似与泛化能力。假设 $P_0$ 为 $\alpha$-亚高斯分布，我们证明对于任意时间步 $t \in [t_0, n^{\mathcal{O}(1)}]$，其中 $t_0 > \mathcal{O}(\alpha^2n^{-2/d}\log n)$，存在一个深度 ReLU 神经网络，其宽度 $\leq \mathcal{O}(n^{\frac{3}{d}}\log_2n)$ 和深度 $\leq \mathcal{O}(\log^2n)$ 能够以 $\tilde{\mathcal{O}}(n^{-1})$ 均方误差近似得分，并实现 nearly optimal 的得分估计率 $\tilde{\mathcal{O}}(n^{-1}t_0^{-d/2})$，其通过得分匹配损失衡量。我们的框架是通用的，可用于在比以前工作更宽松的假设下建立 SGMs 的收敛速率。例如，假设目标密度函数 $p_0$ 位于 Sobolev 或 Besov 类中，并采用合适的早停策略，我们展示了基于神经网络的 SGMs 在达到 nearly minimax 收敛速率（仅有对数因子）方面具有潜力。我们的分析消除了诸如得分函数 Lipschitz 连续性或目标密度严格正下界等若干关键假设。