生成式分数扩散模型
机器学习
2024-11-01 v3 机器学习
摘要
我们引入了首个利用其底层动力学中的分数扩散过程的连续时间基于分数的生成模型。尽管扩散模型在捕捉数据分布方面表现出色，它们仍受诸多局限所困，如收敛缓慢、对不平衡数据的模式崩溃以及缺乏多样性。这些问题部分源于对具有独立增量的轻尾布朗运动（BM）的使用。在本文中，我们以对其非马尔可夫对应物——分数布朗运动（fBM）的近似替代 BM，fBM 以相关增量与 Hurst 指数 为特征，其中 恢复经典 BM。为确保易处理的推断与学习，我们采用近期流行的 fBM 马尔可夫近似（MA-fBM）并推导其逆时模型，从而得到生成式分数扩散模型（GFDM）。我们利用连续重参数化技巧刻画前向动力学，并提出增广分数匹配以最小附加代价高效学习部分已知闭式形式的分数函数。通过 MA-fBM 驱动我们的扩散模型提供了灵活性与可控性。 进入粗糙路径 regime，而 正则化扩散路径并引发长期记忆。马尔可夫近似允许通过线性组合以近似 fBM 的马尔可夫过程数量来增添控制。我们在真实图像数据集上的评估表明，GFDM 实现了更大的逐像素多样性与提升的图像质量，如更低的 FID 所示，为传统扩散模型提供了有前景的替代方案。
引用
@article{arxiv.2310.17638,
title = {Generative Fractional Diffusion Models},
author = {Gabriel Nobis and Maximilian Springenberg and Marco Aversa and Michael Detzel and Rembert Daems and Roderick Murray-Smith and Shinichi Nakajima and Sebastian Lapuschkin and Stefano Ermon and Tolga Birdal and Manfred Opper and Christoph Knochenhauer and Luis Oala and Wojciech Samek},
journal= {arXiv preprint arXiv:2310.17638},
year = {2024}
}