基于自然梯度下降的多元高斯变分推断
机器学习
2020-10-20 v2 机器学习
机器人学
统计理论
统计理论
摘要
本短注回顾了针对多元高斯所谓的自然梯度下降（NGD）。针对若干不同的高斯参数化推导了 Fisher 信息矩阵（FIM）。在计算导数时仔细考虑了协方差矩阵的对称性。我们展示了选择由均值和逆协方差矩阵构成的参数化具有若干优势，并给出了一种简单的 NGD 更新，其考虑了逆协方差矩阵的对称（及稀疏）性质。
引用
@article{arxiv.2001.10025,
title = {Multivariate Gaussian Variational Inference by Natural Gradient Descent},
author = {Timothy D. Barfoot},
journal= {arXiv preprint arXiv:2001.10025},
year = {2020}
}
备注
11 pages, 0 figures; second version fixed a single typo