变分自编码器：一种调和分析视角

在这项工作中，我们从调和分析的视角研究变分自编码器（VAEs）。通过将 VAE 的潜空间视为高斯空间（一种多样的测度空间），我们导出了一系列结果，表明 VAE 的编码器方差控制了由 VAE 编码器和解码器神经网络参数化的函数的频率内容。特别地，我们证明较大的编码器方差降低了这些函数的高频内容。我们的分析使我们能够表明，增大该方差有效地对 VAE 的解码器网络施加了软 Lipschitz 约束，这是 VAE 对抗鲁棒性的核心贡献因素。我们进一步证明，向 VAE 的输入添加高斯噪声使我们能够更精细地控制 VAE 编码器网络的频率内容以及 Lipschitz 常数。为支持我们的理论分析，我们使用具有小型全连接神经网络和较大卷积网络的 VAE 进行实验，凭经验证明我们的理论对各种神经网络架构均成立。