无需Fisher矩阵解析计算及其求逆的自然梯度变分贝叶斯

本文介绍了一种有效近似Fisher信息矩阵逆的方法，这是实现有效变分贝叶斯推断的关键步骤。我们方法的一个显著特点是避免了解析计算Fisher信息矩阵及其显式求逆。相反，我们引入了一个迭代过程来生成一个收敛于Fisher信息逆的矩阵序列。这种无需Fisher矩阵解析表达式及其求逆的自然梯度变分贝叶斯算法被证明是收敛的，并且达到了$O(\log s/s)$阶的收敛速率，其中$s$为迭代次数。我们还获得了该迭代序列的中心极限定理。我们方法的实现不需要存储大型矩阵，并且在变分参数数量上实现了线性复杂度。我们的算法具有通用性，适用于各种变分贝叶斯领域，包括高斯近似和归一化流变分贝叶斯。我们提供了一系列数值例子来证明所提出的变分贝叶斯方法的效率和可靠性。