星型去噪扩散概率模型
机器学习
2023-10-31 v3 机器学习
摘要
去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPMs）为近期生成建模的突破提供了基础。其马尔可夫结构使得难以定义高斯或离散以外的分布 DDPM。本文中，我们引入星型 DDPM（Star-Shaped DDPM, SS-DDPM）。其星型扩散过程使我们无需定义转移概率或计算后验。我们建立了星型扩散与指数族分布特定马尔可夫扩散之间的对偶性，并推导出用于 SS-DDPM 训练与采样的高效算法。在高斯分布情形下，SS-DDPM 等价于 DDPM。然而，SS-DDPM 为设计如 Beta、von MisesFisher、Dirichlet、Wishart 等分布的扩散模型提供了简单方案，当数据位于约束流形上时尤为有用。我们在不同设定下评估该模型，发现其即便在图像数据上也具竞争力，其中 Beta SS-DDPM 取得了与高斯 DDPM 相当的结果。我们的实现可在 https://github.com/andrey-okhotin/star-shaped 获取。
引用
@article{arxiv.2302.05259,
title = {Star-Shaped Denoising Diffusion Probabilistic Models},
author = {Andrey Okhotin and Dmitry Molchanov and Vladimir Arkhipkin and Grigory Bartosh and Viktor Ohanesian and Aibek Alanov and Dmitry Vetrov},
journal= {arXiv preprint arXiv:2302.05259},
year = {2023}
}
备注
Accepted at NeurIPS 2023