变分扩散模型
机器学习
2023-04-17 v6 机器学习
摘要
基于扩散的生成模型已展现出令人印象深刻的感知合成能力，但它们能否也成为优秀的基于似然的模型？我们对此给出肯定回答，并引入一类基于扩散的生成模型，在标准图像密度估计基准上取得了最先进的似然值。与其他基于扩散的模型不同，我们的方法允许将噪声调度与模型其余部分联合高效优化。我们表明，变分下界（VLB）可简化为关于扩散数据信噪比的极简表达式，从而增进了对该类模型的理论理解。利用这一见解，我们证明了文献中提出的若干模型之间的等价性。此外，我们表明连续时间VLB对噪声调度是不变的，仅在其端点的信噪比处例外。这使我们能够学习一个最小化所得VLB估计器方差的噪声调度，从而实现更快的优化。结合这些进展与架构改进，我们在图像密度估计基准上取得了最先进的似然值，优于多年来主导这些基准的自回归模型，且优化速度往往显著更快。此外，我们展示了如何将该模型用作bits-back压缩方案的一部分，并演示了接近理论最优的无损压缩率。代码见 https://github.com/google-research/vdm 。
引用
@article{arxiv.2107.00630,
title = {Variational Diffusion Models},
author = {Diederik P. Kingma and Tim Salimans and Ben Poole and Jonathan Ho},
journal= {arXiv preprint arXiv:2107.00630},
year = {2023}
}
备注
Published at NeurIPS'21