加速信息梯度流
最优化与控制
2022-06-27 v3 信息论
math.IT
统计计算
机器学习
摘要
我们提出了一个在概率空间中的 Nesterov 加速梯度流框架，用于设计高效的均值场马尔可夫链蒙特卡洛（MCMC）算法以解决贝叶斯逆问题。这里考虑了四种信息度量的例子，包括 Fisher-Rao 度量、Wasserstein-2 度量、Kalman-Wasserstein 度量和 Stein 度量。对于 Fisher-Rao 和 Wasserstein-2 度量，我们证明了加速梯度流的收敛性质。在实现中，我们提出了一种对 Wasserstein-2、Kalman-Wasserstein 和 Stein 加速梯度流具有采样效率的离散时间算法，并带有重启技术。我们还制定了一种核带宽选择方法，从布朗运动样本中学习密度对数的梯度。数值实验，包括贝叶斯逻辑回归和贝叶斯神经网络，显示了所提方法相较于最先进算法的优势。
引用
@article{arxiv.1909.02102,
title = {Accelerated Information Gradient flow},
author = {Yifei Wang and Wuchen Li},
journal= {arXiv preprint arXiv:1909.02102},
year = {2022}
}