从渐近方差视角分析噪声对比估计
机器学习
2018-08-27 v1 机器学习
摘要
有许多模型（常称为非归一化模型）的归一化常数不能以封闭形式算出。最大似然估计不能直接用于非归一化模型。得分匹配、对比散度方法、伪似然、蒙特卡洛最大似然以及噪声对比估计（NCE）是估计此类模型参数的常用方法。在本文中，我们关注 NCE。由 NCE 导出的估计量是一致且渐近正态的，因为它是一个 M-估计量。NCE 特征性地使用辅助分布以重要性采样同样的精神计算归一化常数。此外，NCE 有若干候选目标函数。我们关注如何降低渐近方差。首先，我们提出一种通过估计辅助分布参数来降低渐近方差的方法。然后，我们确定目标函数的形式，使渐近方差在原始估计量类与所提估计量类中取最小值。我们进一步分析了估计量的鲁棒性。
引用
@article{arxiv.1808.07983,
title = {Analysis of Noise Contrastive Estimation from the Perspective of Asymptotic Variance},
author = {Masatoshi Uehara and Takeru Matsuda and Fumiyasu Komaki},
journal= {arXiv preprint arXiv:1808.07983},
year = {2018}
}