分层半隐式变分推断及其在扩散模型加速中的应用
机器学习
2023-10-27 v1 统计方法学
摘要
半隐式变分推断（SIVI）通过以分层方式定义具有表现力的半隐式分布，被引入以扩展解析变分族。然而，当前 SIVI 方法中常用的单层架构在目标后验具有复杂结构时可能不够充分。在本文中，我们提出分层半隐式变分推断，称为 HSIVI，它将 SIVI 推广以允许更具表现力的半隐式分布多层构造。通过引入在简单基分布与目标分布之间插值的辅助分布，条件层可以通过逐层渐进匹配这些辅助分布来训练。此外，给定预训练得分网络，HSIVI 可用于通过得分匹配目标加速扩散模型的采样过程。我们表明，在多个具有复杂目标分布的贝叶斯推断问题上，HSIVI 显著增强了 SIVI 的表现力。当用于扩散模型加速时，我们表明 HSIVI 在多个数据集上能以少量的函数评估次数生成与现有快速扩散模型采样器相当或更好的高质量样本。
引用
@article{arxiv.2310.17153,
title = {Hierarchical Semi-Implicit Variational Inference with Application to Diffusion Model Acceleration},
author = {Longlin Yu and Tianyu Xie and Yu Zhu and Tong Yang and Xiangyu Zhang and Cheng Zhang},
journal= {arXiv preprint arXiv:2310.17153},
year = {2023}
}
备注
25 pages, 13 figures, NeurIPS 2023