全变分噪声对比估计

利用恰当评分规则的基础理论，我们设计了一族对潜变量模型可处理的噪声对比估计（NCE）方法。底层 NCE 损失中的两项——使用数据样本的一项与使用噪声样本的一项——均可如变分贝叶斯中那样被下界约束，因此我们称这族损失为全变分噪声对比估计。变分自编码器是此族中的一个特例，因此也可被理解为利用适当的分类损失将真实数据与合成样本分离。我们进一步讨论此全变分 NCE 目标族中的其他实例，并指出它们经验行为上的差异。