通过辛伴随方法实现精确的引导扩散采样
计算机视觉与模式识别
2023-12-20 v1 人工智能
摘要
扩散模型中的免训练引导采样利用现成的预训练网络（如美学评估模型）来指导生成过程。当前的免训练引导采样算法基于对干净图像的单步估计来获取引导能量函数。然而，由于现成的预训练网络是在干净图像上训练的，对干净图像的单步估计过程可能不准确，尤其是在扩散模型生成过程的早期阶段。这会导致早期时间步的引导不准确。为了克服这个问题，我们提出了辛伴随引导，在两个内部阶段计算梯度引导。首先，SAG 通过 次函数调用估计干净图像，其中 作为一个灵活的超参数，可以根据特定的图像质量要求进行调整。其次，SAG 使用辛伴随方法在内存需求方面准确且高效地获取梯度。大量实验表明，在引导图像和视频生成任务中，与基线相比，SAG 生成的图像质量更高。
引用
@article{arxiv.2312.12030,
title = {Towards Accurate Guided Diffusion Sampling through Symplectic Adjoint Method},
author = {Jiachun Pan and Hanshu Yan and Jun Hao Liew and Jiashi Feng and Vincent Y. F. Tan},
journal= {arXiv preprint arXiv:2312.12030},
year = {2023}
}