变分噪声对比估计
机器学习
2019-02-26 v3 机器学习
摘要
非归一化潜变量模型是一类广泛而灵活的统计模型。然而，从数据中学习其参数是难处理的，目前对此类模型可用的估计技术很少。为了增加我们的技术储备，我们提出了变分噪声对比估计（VNCE），其建立在仅适用于非归一化模型的 NCE 方法之上。核心思想是对 NCE 目标函数使用变分下界，该下界可以像标准变分推断（VI）中的证据下界（ELBO）一样进行优化。我们证明 VNCE 既可用于非归一化模型的参数估计，也可用于潜变量的后验推断。所发展的理论表明 VNCE 具有与标准 VI 同等的通用性，这意味着那里的进展可以直接引入到非归一化设定中。我们在玩具模型上验证了 VNCE，并将其应用于从不完全数据中估计无向图模型的实际问题。
引用
@article{arxiv.1810.08010,
title = {Variational Noise-Contrastive Estimation},
author = {Benjamin Rhodes and Michael Gutmann},
journal= {arXiv preprint arXiv:1810.08010},
year = {2019}
}