核斯坦差异稀疏化：病理的理论视角与带正则化的实用修正
统计理论
2023-10-27 v3 机器学习
统计理论
摘要
Stein 稀疏化是由 (Riabiz et al., 2022) 提出的用于后处理马尔可夫链蒙特卡洛（MCMC）输出的一种有前景的算法。其主要原理是贪心地最小化核化斯坦差异（KSD），这仅需要对数目标分布的梯度，因此非常适用于贝叶斯推断。Stein 稀疏化的主要优势包括自动去除老化期、纠正近期 MCMC 算法引入的偏差，以及朝向目标分布的渐近收敛性质。然而，正如文献中所观察到的，Stein 稀疏化存在若干经验性病理，可能导致糟糕的近似。在本文中，我们对这些病理进行理论分析，以清晰识别其中的作用机制，并提出改进策略。接着，我们引入正则化 Stein 稀疏化算法以缓解已识别的病理。最后，理论保证和大量实验表明了所提算法的高效性。正则化 Stein 稀疏化作为 python 和 JAX 中的 kernax 库的实现可在 https://gitlab.com/drti/kernax 获取。
引用
@article{arxiv.2301.13528,
title = {Kernel Stein Discrepancy thinning: a theoretical perspective of pathologies and a practical fix with regularization},
author = {Clément Bénard and Brian Staber and Sébastien Da Veiga},
journal= {arXiv preprint arXiv:2301.13528},
year = {2023}
}