基于核化路径梯度下降的半隐式变分推断
计算机视觉与模式识别
2025-06-06 v1 计算与语言
摘要
半隐式变分推断（SIVI）是一种用于逼近复杂后验分布的强大方法，但由于在高维设置下的高方差和偏差，利用 Kullback-Leibler（KL）散度进行训练具有挑战性。虽然当前最先进的半隐式变分推断方法，特别是核半隐式变分推断（KSIVI），在高维情况下效果较好，但训练仍相对昂贵。本文提出一种核化 KL 散度估计器，通过非参数平滑来稳定训练。为进一步减少偏差，我们引入了重要抽样校正。我们提供了与 amortize 版 Stein 改变梯度下降的理论联系，该方法通过 Stein 身份估计得分梯度，表明两种方法最小化相同的目标，但我们的半隐式方法实现了更低的梯度方差。此外，我们的方法在函数空间中的偏差是温和的，导致更稳定和更高效的优化。实验结果表明，我们的方法在性能和训练效率方面均优于或相当于最先进的 SIVI 方法。
关键词
引用
@article{arxiv.2506.05087,
title = {Interpretable Multimodal Framework for Human-Centered Street Assessment: Integrating Visual-Language Models for Perceptual Urban Diagnostics},
author = {HaoTian Lan},
journal= {arXiv preprint arXiv:2506.05087},
year = {2025}
}
备注
24 pages, 10 figures