PFGM++：释放物理启发生成模型的潜力

Yilun Xu; Ziming Liu; Yonglong Tian; Shangyuan Tong; Max Tegmark; Tommi Jaakkola

PFGM++：释放物理启发生成模型的潜力

机器学习 2023-02-13 v2 计算机视觉与模式识别

作者: Yilun Xu , Ziming Liu , Yonglong Tian , Shangyuan Tong , Max Tegmark , Tommi Jaakkola

摘要

我们引入一类称为PFGM++的新型物理启发生成模型，其统一了扩散模型与泊松流生成模型(PFGM)。这些模型通过将路径嵌入 $N{+}D$ 维空间来实现 $N$ 维数据的生成轨迹，同时仍用 $D$ 个附加变量的简单标量范数控制进程。当 $D{=}1$ 时新模型退化为PFGM，当 $D{\to}\infty$ 时退化为扩散模型。选择 $D$ 的灵活性使我们能够在鲁棒性与刚性之间权衡，因为增大 $D$ 会导致数据与附加变量范数之间的耦合更为集中。我们摒弃了PFGM中使用的有偏大批量场目标，转而提供类似于扩散模型的基于无偏扰动的客观目标。为探索 $D$ 的不同选择，我们提供了一种直接对齐方法，用于将扩散模型( $D{\to} \infty$ )中调优良好的超参数迁移到任意有限 $D$ 值。我们的实验表明，有限 $D$ 的模型在CIFAR-10/FFHQ $64{\times}64$ 数据集上可优于先前最先进的扩散模型，当 $D{=}2048/128$ 时FID分数为 $1.91/2.43$ 。在类条件设定下， $D{=}2048$ 在CIFAR-10上取得当前最先进FID $1.74$ 。此外，我们证明较小 $D$ 的模型对建模误差表现出改进的鲁棒性。代码见https://github.com/Newbeeer/pfgmpp

关键词

物理启发生成模型 PFGM++ 扩散模型泊松流生成模型基于扰动的客观目标 FID分数超参数迁移

引用

@article{arxiv.2302.04265,
  title  = {PFGM++: Unlocking the Potential of Physics-Inspired Generative Models},
  author = {Yilun Xu and Ziming Liu and Yonglong Tian and Shangyuan Tong and Max Tegmark and Tommi Jaakkola},
  journal= {arXiv preprint arXiv:2302.04265},
  year   = {2023}
}

备注

Code is available at https://github.com/Newbeeer/pfgmpp

PFGM++：释放物理启发生成模型的潜力

摘要

关键词

引用

备注

相关论文