利用链式法则与贝叶斯定理比较概率分布

为度量分别称为源分布与目标分布的两个概率分布之间的差异，我们利用链式法则与贝叶斯定理构造条件传输（CT），其由前向分量与后向分量共同构成。前向 CT 是将一个源数据点移动到目标数据点的期望代价，其联合分布由源概率密度函数（PDF）与依赖于源的条件的分布之乘积定义，而该条件分布通过贝叶斯定理与目标 PDF 相关联。后向 CT 通过反转方向来定义。CT 代价可通过用支撑在 mini-batch 上的离散经验分布替代源与目标 PDF 来近似，从而使其适用于隐式分布与基于随机梯度下降的优化。当应用于训练生成模型时，CT 被证明在模式覆盖与模式寻求行为之间取得良好平衡，并强力抵抗模式崩溃。在多种生成建模基准数据集上，用 CT 替换现有生成对抗网络（GAN）的默认统计距离被证明能一致地提升性能。文中提供了 PyTorch 代码。