中继变分推断:一种加速无编码器 VI 的方法
机器学习
2023-01-18 v2 人工智能
机器学习
摘要
变分推断(VI)提供了一种近似难解似然的方法。在神经 VI 中,近似后验的推断通常通过编码器完成。与之相对,无编码器 VI 提供了一种无需经历由编码器带来的摊销次优性(例如存在缺失或不确定数据时)而从数据学习生成模型的框架。然而,在无编码器情况下,此类方法常因学习近似后验参数所需梯度步的缓慢性质而在收敛上受限。本文中,我们引入中继 VI(RVI),一种显著改善无编码器 VI 收敛与性能的框架。我们在多个数据集上的实验研究了 RVI 在收敛速度、损失、表征能力及缺失数据插补方面的有效性。我们发现 RVI 是一种独特工具,其在性能与收敛速度上常优于先前提出的无编码器及摊销 VI 模型(如 VAE)。
引用
@article{arxiv.2110.13422,
title = {Relay Variational Inference: A Method for Accelerated Encoderless VI},
author = {Amir Zadeh and Santiago Benoit and Louis-Philippe Morency},
journal= {arXiv preprint arXiv:2110.13422},
year = {2023}
}