PAVI：板块摊销变分推断
人工智能
2022-06-13 v1 机器学习
神经元与认知
统计方法学
机器学习
摘要
给定若干观测数据与概率生成模型，贝叶斯推断旨在获得可能生成该数据的模型潜参数的分布。对于在数百名受试者队列上进行数千次测量的大型群体研究，该任务具有挑战性，其导致庞大的潜参数空间。此大基数使得现成变分推断(VI)在计算上不切实际。本工作中，我们设计结构化VI族以高效处理大型群体研究。为此，我们的主要思想是在生成模型的不同独立同分布变量间共享参数化与学习——以模型的板块(plates)为象征。我们将此概念命名为板块摊销(plate amortization)，并阐明其带来的强大协同效应，从而得出具表达力、参数精简且训练速度快数个数量级的大规模层次变分分布。我们通过一个具有百万潜参数、具挑战性的神经影像示例展示了PAVI的实用价值，标志着向可扩展且具表达力的变分推断迈出重要一步。
引用
@article{arxiv.2206.05111,
title = {PAVI: Plate-Amortized Variational Inference},
author = {Louis Rouillard and Thomas Moreau and Demian Wassermann},
journal= {arXiv preprint arXiv:2206.05111},
year = {2022}
}