论循环条件分布的生成效用

我们研究是否以及如何使用两个构成循环的条件模型 $p(x|z)$ 和 $q(z|x)$ 来建模联合分布 $p(x,z)$。其动机在于观察到深度生成模型除似然模型 $p(x|z)$ 外，常还使用推断模型 $q(z|x)$ 来提取表示，但它们依赖通常无信息的先验分布 $p(z)$ 来定义联合分布，这可能引发后验坍缩和流形失配等问题。为探索仅用 $p(x|z)$ 和 $q(z|x)$ 建模联合分布的可能性，我们研究它们的兼容性与确定性，即存在且唯一存在一个联合分布以其条件分布与之重合。我们发展了可用于操作的兼容性等价判据的一般理论，以及确定性的充分条件。基于该理论，我们提出仅使用两个循环条件模型的新型生成建模框架 CyGen。我们发展了实现兼容性与确定性、并利用条件模型拟合与生成数据的方法。在移除先验约束后，CyGen 更好地拟合数据并捕获更具代表性的特征，合成与真实世界实验均支持了这一点。