缓解MRF训练之痛：采用AdVIL方法
机器学习
2020-02-17 v3 机器学习
摘要
我们提出了一种称为对抗变分推断与学习（Adversarial Variational Inference and Learning, AdVIL）的黑盒算法，用于对一般马尔可夫随机场（MRF）进行推断与学习。AdVIL采用两个变分分布分别近似推断MRF的潜变量和估计其配分函数。这两个变分分布将MRF的负对数似然估计为一个极大极小优化问题，并通过随机梯度下降求解。AdVIL在特定条件下被证明收敛。一方面，与对比散度相比，AdVIL对模型结构的假设极少，可处理更广泛的MRF族。另一方面，与现有黑盒方法相比，AdVIL对对数配分函数提供了更紧的估计，并取得了更好的实证结果。
引用
@article{arxiv.1901.08400,
title = {To Relieve Your Headache of Training an MRF, Take AdVIL},
author = {Chongxuan Li and Chao Du and Kun Xu and Max Welling and Jun Zhu and Bo Zhang},
journal= {arXiv preprint arXiv:1901.08400},
year = {2020}
}