PAVI：板块摊销变分推断
机器学习
2023-08-31 v1 机器学习
摘要
给定观测数据与概率生成模型，贝叶斯推断寻找可能产生该数据的模型参数分布。对于在数百名受试者队列上进行数百万次测量的大型群体研究，推断面临挑战，因其导致庞大的参数空间。如此大的基数使得现成的变分推断（VI）在计算上难以施行。本工作中，我们设计结构化 VI 族以高效应对大型群体研究。我们的主要思想是在生成模型中不同的独立同分布变量之间共享参数化与学习，以模型的板块（plates）为象征。我们将此概念命名为板块摊销（plate amortization）。与速度减慢推断的现成随机 VI 相反，板块摊销使得变分分布的训练速度提升数个数量级。应用于大规模分层问题时，PAVI 产生了具有表现力、参数精简的 VI，且训练时间可接受。这种更快的收敛有效解锁了那些大型体系中的推断。我们通过一个具有 4 亿潜参数的极具挑战性的神经影像实例阐明了 PAVI 的实用价值，展示了朝可扩展且具表现力的变分推断迈出的重要一步。
引用
@article{arxiv.2308.16022,
title = {PAVI: Plate-Amortized Variational Inference},
author = {Louis Rouillard and Alexandre Le Bris and Thomas Moreau and Demian Wassermann},
journal= {arXiv preprint arXiv:2308.16022},
year = {2023}
}