ADAVI：应用于金字塔式贝叶斯模型的自动对偶摊销变分推断
机器学习
2022-03-09 v3 人工智能
神经元与认知
机器学习
摘要
通常，群体研究具有使用 enriched with plates 的分层贝叶斯模型（HBM）表示的金字塔式组织数据。这些模型在诸如神经成像等场景中会变得大得令人望而却步，其中样本由在300个脑区、4次测量会话和30名受试者上测量的功能性MRI信号组成，产生约100万潜参数。如此高的维度阻碍了现代、富有表现力的基于流的技术的应用。为了在这类具有挑战性的问题类中推断参数后验分布，我们设计了一种新颖的方法，自动生成对应于目标HBM的对偶变分族。该变分族表示为神经网络，由基于注意力的分层编码器将汇总统计量输入一组归一化流组合而成。我们自动导出的神经网络利用了plate-enriched HBM中的可交换性并分解其参数空间。所得架构相对于典型的基于流的表示，将其参数化减少了数个数量级，同时保持了表现力。我们的方法在摊销设置下对指定HBM进行推断：一旦训练完成，它便可立即应用于新数据样本以计算参数的完整后验。我们在模拟数据以及一项具有挑战性的高维脑分区实验上展示了我们方法的能力与可扩展性。我们还提出了一些位于归一化流、SBI、结构化变分推断和推断摊销交叉点上的若干问题。
引用
@article{arxiv.2106.12248,
title = {ADAVI: Automatic Dual Amortized Variational Inference Applied To Pyramidal Bayesian Models},
author = {Louis Rouillard and Demian Wassermann},
journal= {arXiv preprint arXiv:2106.12248},
year = {2022}
}