关于噪声对比估计与对比散度之间的联系
机器学习
2024-02-27 v1 机器学习
摘要
噪声对比估计(NCE)是一种流行的估计非归一化概率模型（如能量基模型）的方法，这些模型对于建模复杂数据分布非常有效。与依赖于重要性采样（得到ML-IS）或MCMC（得到对比散度，CD）的经典最大似然(ML)估计不同，NCE使用代理准则来避免评估通常难以处理的归一化常数。尽管存在明显的概念差异，我们表明两种NCE准则，即排序NCE(RNCE)和条件NCE(CNCE)，可以被视为ML估计方法。具体来说，RNCE等价于结合条件重要性采样的ML估计，并且RNCE和CNCE都是CD的特例。这些发现弥合了这两类方法之间的差距，并允许我们将ML-IS和CD文献中的技术应用于NCE，从而提供若干有利的扩展。
引用
@article{arxiv.2402.16688,
title = {On the connection between Noise-Contrastive Estimation and Contrastive Divergence},
author = {Amanda Olmin and Jakob Lindqvist and Lennart Svensson and Fredrik Lindsten},
journal= {arXiv preprint arXiv:2402.16688},
year = {2024}
}
备注
Accepted to AISTATS 2024