梯度应沿路径：归一化流正反向KL散度的更优估计器
机器学习
2022-07-19 v1 机器学习
摘要
我们提出一种算法，用于估计任意显式可逆归一化流的正向与反向Kullback-Leibler散度的路径梯度。所得路径梯度估计器易于实现、方差更低，与标准全梯度估计器相比，不仅带来更快的训练收敛，也得到更好的整体近似结果。我们还表明路径梯度训练更不易发生模式坍塌。鉴于我们的结果，我们预期路径梯度估计器将成为变分推断中训练归一化流的新标准方法。
引用
@article{arxiv.2207.08219,
title = {Gradients should stay on Path: Better Estimators of the Reverse- and Forward KL Divergence for Normalizing Flows},
author = {Lorenz Vaitl and Kim A. Nicoli and Shinichi Nakajima and Pan Kessel},
journal= {arXiv preprint arXiv:2207.08219},
year = {2022}
}
备注
29 pages, 8 figures