TRACT：具有传递闭包时间蒸馏的去噪扩散模型
机器学习
2023-03-09 v1 计算机视觉与模式识别
摘要
去噪扩散模型已展现出其在生成采样方面的能力。然而，生成良好样本通常需要多次迭代。因此，诸如二元时间蒸馏（BTD）等技术已被提出，以减少固定架构下的网络调用次数。在本文中，我们引入 TRAnsitive Closure Time-distillation（TRACT，传递闭包时间蒸馏），一种扩展 BTD 的新方法。对于单步扩散，TRACT 在相同架构上将 FID 提升多达 2.4 倍，并取得了新的单步去噪扩散隐式模型（DDIM）最优 FID（ImageNet64 为 7.4，CIFAR10 为 3.8）。最后我们通过扩展消融实验剖析该方法。PyTorch 实现将很快发布。
引用
@article{arxiv.2303.04248,
title = {TRACT: Denoising Diffusion Models with Transitive Closure Time-Distillation},
author = {David Berthelot and Arnaud Autef and Jierui Lin and Dian Ang Yap and Shuangfei Zhai and Siyuan Hu and Daniel Zheng and Walter Talbott and Eric Gu},
journal= {arXiv preprint arXiv:2303.04248},
year = {2023}
}