热力学变分目标
机器学习
2021-04-09 v5 机器学习
摘要
我们引入了热力学变分目标（TVO），用于连续和离散深度生成模型的学习。TVO 源于变分推断与热力学积分之间的关键联系，由此得到比标准变分证据下界（ELBO）更紧的对数边际似然下界，同时保持广泛的适用性。我们为 TVO 提供了一种计算高效的梯度估计器，适用于连续、离散及不可重参数化分布，并表明变分推断、变分自编码器、wake-sleep 和推断编译中所用的目标函数均为 TVO 的特例。我们使用 TVO 学习离散与连续深度生成模型，并在经验上展示了最先进的模型和推断网络学习。
引用
@article{arxiv.1907.00031,
title = {The Thermodynamic Variational Objective},
author = {Vaden Masrani and Tuan Anh Le and Frank Wood},
journal= {arXiv preprint arXiv:1907.00031},
year = {2021}
}