基于指数族流形上的自然梯度引导时变生成模型
机器学习
2025-06-16 v2 机器学习
摘要
概率模型的优化是统计学中已广泛研究的领域，但其与生成模型训练的联系仍大体未被探索。本文展示了时变生成模型的演化可以投影到指数族流形上，从而自然地建立了生成模型参数与概率模型参数之间的联系。随后，我们通过根据自然梯度下降方案移动其在流形上的投影来训练生成模型。该方法还允许我们高效地近似KL散度的自然梯度，而无需对不可计算的模型使用MCMC。此外，我们提出了该算法的粒子版本，具有针对指数族中任何参数化模型的闭形式更新规则。通过 toy 实验和真实数据实验，我们验证了所提出算法的有效性。所提出算法的代码可在 https://github.com/anewgithubname/iNGD 上找到。
引用
@article{arxiv.2502.07650,
title = {Guiding Time-Varying Generative Models with Natural Gradients on Exponential Family Manifold},
author = {Song Liu and Leyang Wang and Yakun Wang},
journal= {arXiv preprint arXiv:2502.07650},
year = {2025}
}
备注
UAI2025