可逆性对变分自编码器中编码器表示复杂性的影响

训练和使用的现代基于神经网络的潜变量生成模型（如变分自编码器）通常需要同时训练生成方向与推断（编码）方向，后者近似潜变量上的后验分布。因此产生如下问题：为了准确建模给定生成模型的后验分布，推断模型需要多复杂？本文中，我们识别出影响编码器所需规模的一个生成映射的重要性质。我们表明，若生成映射是“强可逆的”（以我们适当形式化的意义），则推断模型无需复杂太多。反之，我们证明存在不可逆生成映射，使得编码方向需要指数级更大（在计算复杂性的标准假设下）。重要的是，我们不要求生成模型逐层可逆，而大量相关文献假设了这一点，且许多实际使用的架构（如基于卷积和池化的网络）并不满足。因此，我们为“当数据位于低维流形时学习深度生成模型更困难”这一经验性认识提供了理论支持。