基于 Stein 引理的高斯变分近似中 Cholesky 因子的二阶随机梯度更新
统计方法学
2022-10-20 v1
摘要
在随机变分推断中,对多元高斯分布使用重参数化技巧可得到均值与协方差矩阵 Cholesky 因子的有效更新,这些更新依赖于对数联合模型密度的一阶导数。本文中,我们证明可利用 Stein 引理推导出依赖于对数联合模型密度二阶导数的 Cholesky 因子的另一种无偏梯度估计。这导出了 Cholesky 因子的二阶随机梯度更新,其能够在接近模态时因方差低于一阶更新(几乎可忽略)而改善收敛性。我们还推导了精度矩阵 Cholesky 因子的二阶更新,当精度矩阵具有反映真实后验分布中条件独立性的稀疏结构时该更新十分有用。我们的结果也可用于获得 Cholesky 因子的二阶自然梯度更新,其相比基于欧氏梯度的更新更为鲁棒。
引用
@article{arxiv.2210.10566,
title = {Second order stochastic gradient update for Cholesky factor in Gaussian variational approximation from Stein's Lemma},
author = {Linda S. L. Tan},
journal= {arXiv preprint arXiv:2210.10566},
year = {2022}
}
备注
15 pages, 2 figures