从统计视角看逆问题中的算法展开模型

我们考虑这样的逆问题：在给定感兴趣潜变量 ${\bf x}$ 的条件下观测值 ${\bf y}$ 的条件分布（亦称前向模型）已知，且我们拥有一个同时观测到多个 ${\bf x}$ 与 ${\bf y}$ 实例的数据集。在此背景下，算法展开已成为设计能有效利用前向模型的前沿深度神经网络架构的流行方法。我们分析了梯度下降网络（GDN）——一种由近端梯度下降驱动的算法展开架构——的统计复杂度。我们证明，GDN 达到最优统计性能所需的展开深度量级为 $\log(n)/\log(\varrho_n^{-1})$，其中 $n$ 为样本量，$\varrho_n$ 为相应梯度下降算法的收敛速率。我们还证明，当潜变量 ${\bf x}$ 的负对数密度具有简单近端算子时，展开深度为 $D'$ 的 GDN 能以参数速率 $O(D'/\sqrt{n})$ 求解该逆问题。因此，我们的结果也表明算法展开模型随着展开深度 $D'$ 的增加易于过拟合。我们提供了若干示例以阐明这些结果。