基于神经元胞自动机的频域-时域扩散模型
计算机视觉与模式识别
2024-05-14 v2
摘要
尽管取得了相当大的成功，但以UNet为骨干的大型去噪扩散模型（DDMs）在有限硬件上以及处理千兆像素图像时面临实际挑战。为了解决这些局限性，我们引入了两种基于神经元胞自动机（NCA）的DDM：Diff-NCA和FourierDiff-NCA。利用NCA的局部通信能力，Diff-NCA显著减少了基于NCA的DDM的参数量。集成基于傅里叶的扩散使得在扩散过程早期即可实现全局通信。这一特性在合成具有重要全局特征的复杂图像（如CelebA数据集）时尤为宝贵。我们证明，即使是具有331k参数的Diff-NCA也能生成512x512的病理切片，而FourierDiff-NCA（1.1m参数）达到了43.86的FID分数，比参数量为其四倍的UNet（3.94m参数，分数为128.2）低三倍。此外，FourierDiff-NCA无需显式训练即可执行超分辨率、分布外图像合成和图像修复等多种任务。
引用
@article{arxiv.2401.06291,
title = {Frequency-Time Diffusion with Neural Cellular Automata},
author = {John Kalkhof and Arlene Kühn and Yannik Frisch and Anirban Mukhopadhyay},
journal= {arXiv preprint arXiv:2401.06291},
year = {2024}
}