关于证据下界的自然梯度
机器学习
2025-10-02 v2 统计理论
机器学习
统计理论
摘要
本文研究证据下界（ELBO）的Fisher-Rao梯度（亦称自然梯度），其在生成式机器学习中居核心地位。文章揭示，证据与其下界ELBO之间的差距在无约束优化中具有本质上消失的自然梯度。因此，ELBO的最大化等价于从目标分布出发的Kullback-Leibler散度的最小化，而后者是学习的主要目标函数。基于该洞见，我们导出在优化被约束于某模型时该等价性仍保持的条件。此条件给出一种几何刻画，我们通过柱面模型这一概念将其形式化。
引用
@article{arxiv.2307.11249,
title = {On the Natural Gradient of the Evidence Lower Bound},
author = {Nihat Ay and Jesse van Oostrum and Adwait Datar},
journal= {arXiv preprint arXiv:2307.11249},
year = {2025}
}