收缩-解耦权衡：变分推断中因子化高斯近似的分析
机器学习
2023-05-29 v3 统计计算
摘要
当因子化近似用于变分推断（VI）时，它们往往会低估其旨在近似的分布的不确定性——以多种方式衡量。我们考虑两种衡量VI不确定性亏缺的流行方法：（i）它低估分量方差的程度，以及（ii）它低估熵的程度。为了更好地理解这些效应及其之间的关系，我们考察了一个信息丰富的设置，其中可以对它们进行显式（且优雅地）分析：用具有对角协方差矩阵的高斯分布q近似具有稠密协方差矩阵的高斯分布p。我们证明q总是低估p的分量方差和熵，尽管不一定达到相同程度。此外，我们证明q的熵由两种竞争力量的权衡决定：其分量方差的收缩（我们衡量不确定性的第一种方式）使其减小，但因子化近似解耦了p的图模型中节点之间的联系，从而使其增大。我们研究了这种权衡的各种表现，特别是一种情况：随着问题维度的增长，p和q之间的每分量熵差变得极小，即使q以恒定的乘性因子低估每个分量方差。我们还利用收缩-解耦权衡，根据问题维度和p的相关矩阵的条件数来界定熵差。最后，我们展示了在高斯和非高斯目标上的实证结果，前者用于验证我们的分析，后者用于探索其局限性。
引用
@article{arxiv.2302.09163,
title = {The Shrinkage-Delinkage Trade-off: An Analysis of Factorized Gaussian Approximations for Variational Inference},
author = {Charles C. Margossian and Lawrence K. Saul},
journal= {arXiv preprint arXiv:2302.09163},
year = {2023}
}