Beta 扩散
机器学习
2023-12-27 v4 人工智能
统计计算
统计方法学
机器学习
摘要
我们提出 beta 扩散，一种新颖的生成建模方法，它整合去掩码与去噪以在有限范围内生成数据。通过使用缩放和平移的 beta 分布，beta 扩散利用随时间变化的乘法转移来创建前向与反向扩散过程，在给定任意时刻数据的情况下，保持前向边缘分布与反向条件分布均为 beta 分布。不同于依赖加性高斯噪声和重加权证据下界（ELBOs）的传统基于扩散的生成模型，beta 扩散是乘性的，并使用由 KL 散度凸性导出的 KL 散度上界（KLUBs）进行优化。我们证明所提 KLUBs 比负 ELBOs 更有效地优化 beta 扩散，而负 ELBOs 也可推导为同一 KL 散度在交换两个参数后的 KLUBs。beta 扩散的损失函数以 Bregman 散度表示，进一步支持了 KLUBs 用于优化的有效性。在合成数据与自然图像上的实验结果展示了 beta 扩散在有限范围数据生成建模中的独特能力，并验证了 KLUBs 在优化扩散模型中的有效性，从而使其成为基于扩散的生成模型家族及用于训练它们的优化技术中有价值的补充。
引用
@article{arxiv.2309.07867,
title = {Beta Diffusion},
author = {Mingyuan Zhou and Tianqi Chen and Zhendong Wang and Huangjie Zheng},
journal= {arXiv preprint arXiv:2309.07867},
year = {2023}
}
备注
NeurIPS 2023