可微 annealed importance sampling 最小化初始分布与目标分布之间的对称 KL 散度
机器学习
2024-08-12 v2 机器学习
摘要
可微 annealed importance sampling（DAIS），由 Geffner & Domke（2021）和 Zhang 等人（2021）提出，允许对 AIS 的初始分布进行优化。本文我们证明，在大量转换的极限下，DAIS 最小化初始分布与目标分布之间的对称 Kullback-Leibler 散度。因此，DAIS 可被视为一种变分推断（VI）形式，因为其初始分布是对不可解目标分布的参数化拟合。我们在合成数据和真实数据上经验性地评估了初始分布作为变分分布的有用性，观察到它通常比 VI（优化逆 KL 散度）、importance weighted VI 和 Markovian score climbing（优化正向 KL 散度）更准确。
引用
@article{arxiv.2405.14840,
title = {Differentiable Annealed Importance Sampling Minimizes The Symmetrized Kullback-Leibler Divergence Between Initial and Target Distribution},
author = {Johannes Zenn and Robert Bamler},
journal= {arXiv preprint arXiv:2405.14840},
year = {2024}
}
备注
22 pages, including 9 pages of main text and 11 pages of appendix, conference paper at ICML 2024, updated terminology