基于级联流的自动变分推断
机器学习
2021-02-10 v1 机器学习
摘要
概率推理的自动化是机器学习的主要目标之一。近年来，变分推断与深度学习的融合催生了可由随机梯度下降训练的强大而灵活的自动推断方法。特别地，归一化流是高度参数化的深度模型，可拟合任意复杂的后验密度。然而，归一化流在高度结构化的概率程序中表现不佳，因为它们需要重新学习程序的前向传播。自动结构化变分推断（ASVI）通过构建嵌入前向传播的变分程序解决了这一问题。在此，我们将归一化流的灵活性与 ASVI 的先验嵌入特性结合在一类新的变分程序中，我们称之为级联流。级联流程序在先验程序的条件分布之间插入新设计的高速流架构，以将其导向观测数据。这些程序可由输入概率程序自动构建，也可自动摊销。我们在一系列结构化推断问题中评估了新变分程序的性能。我们发现，在大量结构化推断问题中，级联流的性能远高于归一化流和 ASVI。
引用
@article{arxiv.2102.04801,
title = {Automatic variational inference with cascading flows},
author = {Luca Ambrogioni and Gianluigi Silvestri and Marcel van Gerven},
journal= {arXiv preprint arXiv:2102.04801},
year = {2021}
}