批处理、匹配与修补：面向基于分数的变分推断的低秩近似
机器学习
2025-04-03 v2 机器学习
统计计算
摘要
当黑箱变分推断(BBVI)用于估计具有完整协方差矩阵的多元高斯近似时，其在高维问题上的扩展性很差。在本文中，我们将用于基于分数的BBVI的批处理与匹配(BaM)框架扩展到存储此类协方差矩阵都极其昂贵，更不用说估计它们的问题。与使用随机梯度下降来最小化反向Kullback-Leibler散度的经典BBVI算法不同，BaM使用更专门的更新来匹配目标密度及其高斯近似的分数。我们通过将BaM的更新与完整协方差矩阵的更紧凑参数化相结合来扩展它们。特别是，借鉴因子分析的思想，我们在BaM的每次迭代中添加一个额外的步骤——一个修补步骤——将每个新更新的协方差矩阵投影到一个更高效参数化的对角加低秩矩阵族中。我们在各种合成目标分布和高维推断中的实际问题中评估了这种方法。
引用
@article{arxiv.2410.22292,
title = {Batch, match, and patch: low-rank approximations for score-based variational inference},
author = {Chirag Modi and Diana Cai and Lawrence K. Saul},
journal= {arXiv preprint arXiv:2410.22292},
year = {2025}
}
备注
Accepted in AISTATS 2025