多层 Stein 变分梯度下降及其在贝叶斯逆问题中的应用
数值分析
2021-04-06 v1 机器学习
数值分析
摘要
本文提出 Stein 变分梯度下降的一种多层变体，以更高效地从目标分布中采样。其核心要素是一序列保真度与代价递增且收敛于感兴趣目标分布的分布。例如，在贝叶斯逆问题中，该分布序列由前向模型逐层细化的离散化层级给出。所提出的多层 Stein 变分梯度下降将大多数迭代移至较低、较廉价的层级，旨在相较于仅使用最高层分布的传统的单层 Stein 变分梯度下降变体，仅在较高、较昂贵层级上需要少量迭代。在若干假设下，在平均场极限中，所提多层 Stein 方法的误差相对于计算代价以对数因子快于单层对应方法的误差衰减。带有贝叶斯逆问题的数值实验显示，所提多层 Stein 方法相较仅使用最高层的单层变体有超过一个数量级的加速。
引用
@article{arxiv.2104.01945,
title = {Multilevel Stein variational gradient descent with applications to Bayesian inverse problems},
author = {Terrence Alsup and Luca Venturi and Benjamin Peherstorfer},
journal= {arXiv preprint arXiv:2104.01945},
year = {2021}
}