归一化流中深度与条件数的表示性质

归一化流（normalizing flows）是生成建模中最流行的范式之一，尤其在图像领域，主要因为我们可以高效评估数据点的似然。这对于评估模型拟合度以及便于训练都是可取的，因为最大化似然可通过梯度下降完成。然而，训练归一化流也存在困难：能产生良好样本的模型通常需要极深——并伴随相应的梯度消失/爆炸问题。一个密切相关的问题是它们通常条件数很差：由于它们被参数化为从 $\mathbb{R}^d \to \mathbb{R}^d$ 的可逆映射，而像图像这样的典型训练数据直观上是低维的，所学映射的雅可比矩阵常接近奇异。在本文中，我们探讨了归一化流在深度与条件数方面的表示性质：既针对一般可逆架构，也针对一种特定常见架构——仿射耦合（affine couplings）。我们证明 $\Theta(1)$ 个仿射耦合层足以精确表示 GLOW 中使用的置换或 $1 \times 1$ 卷积，表明在表示上分区的选择并非深度的瓶颈。我们还证明，若允许病态条件，浅层仿射耦合网络在 Wasserstein 距离下是通用逼近器，并通过实验研究了涉及填充的相关现象。最后，我们给出了每层神经元少且 Lipschitz 常数有界的一般流架构的深度下界。