拥抱鸿沟：VAE执行独立机制分析

变分自编码器（VAEs）是建模复杂数据分布的流行框架；它们可通过最大化证据下界（ELBO）经由变分推断高效训练，代价是与精确（对数）边际似然之间存在鸿沟。虽然 VAE 常用于表示学习，但为何 ELBO 最大化能产生有用的表示仍不清楚，因为无正则的最大似然估计无法反演数据生成过程。然而，VAE 常在此任务上成功。我们试图通过研究近确定性解码器极限下的非线性 VAE 来阐明这一明显悖论。我们首先证明，在此 regime 下，最优编码器近似反演解码器——一个常用但未被证明的猜想——我们称之为{\em 自洽性}。利用自洽性，我们证明 ELBO 收敛于一个正则化对数似然。这使得 VAE 能够执行最近所称的独立机制分析（IMA）：它添加了一种朝向具有列正交雅可比矩阵的解码器的归纳偏置，有助于恢复真实的潜因子。因此 ELBO 与对数似然之间的鸿沟是受欢迎的，因为它带来了对非线性表示学习未预期的好处。在合成与图像数据的实验中，我们表明当数据生成过程满足 IMA 假设时，VAE 能揭示真实的潜因子。