后验坍缩与潜变量不可辨识性

变分自编码器通过设定低维潜变量来建模高维数据，这些潜变量经由神经网络参数化的灵活分布映射。不幸的是，变分自编码器常遭受后验坍缩：潜变量的后验等于其先验，使变分自编码器作为生成有意义表示的手段失效。现有关于后验坍缩的方法常将其归因于神经网络的使用或变分近似带来的优化问题。本文将后验坍缩视为潜变量不可辨识性问题。我们证明后验坍缩当且仅当生成模型中潜变量不可辨识。这一事实意味着后验坍缩并非灵活分布或近似推断特有的现象，而是即便在经典概率模型中、即使使用精确推断也会发生，我们也对此作了演示。基于这些结果，我们提出一类潜变量可辨识变分自编码器，即在不牺牲灵活性的前提下强制可辨识的深度生成模型。该类模型通过双射 Brenier 映射并以输入凸神经网络参数化来解决潜变量不可辨识性问题，无需特殊的变分推断目标或优化技巧。在合成与真实数据集上，潜变量可辨识变分自编码器在缓解后验坍缩与提供数据有意义表示方面优于现有方法。