图形 Stein 变分推断的信任域方法
机器学习
2024-10-22 v1 机器学习
摘要
Stein 变分推断（SVI）是一种基于样本的贝叶斯近似推断技术，通过联合优化样本位置来最小化其与目标概率分布之间信息论度量的差异。因此，SVI 提供了一种比传统（基于随机抽样的）方法更快且显著更高效的贝叶斯推断方法。然而，现有 SVI 方法所采用的数据优化技术在面临高维、病态或非凸目标分布时仍感困难，这严重限制了其实际应用范围。本文提出了一种新的 SVI 信任域优化方法，成功地解决了上述所有挑战。该方法基于 SVI 的 prior work，利用目标分布中的条件独立性（实现高维扩展）和二阶信息（处理病态问题），同时提供了一种有效的自适应步长控制程序，这对于确保在挑战性非凸优化问题上的收敛至关重要。实验结果表明，我们的方法在收敛速度和样本精度方面均优于以前的 SVI 技术，并且在高维分布中的扩展性也更佳。
关键词
引用
@article{arxiv.2410.16195,
title = {A Trust-Region Method for Graphical Stein Variational Inference},
author = {Liam Pavlovic and David M. Rosen},
journal= {arXiv preprint arXiv:2410.16195},
year = {2024}
}