超越一阶Tweedie: 利用隐扩散求解逆问题
机器学习
2023-12-05 v1 计算机视觉与模式识别
机器学习
摘要
从后验分布采样在使用隐扩散模型求解逆问题时构成主要计算挑战。常用方法依赖Tweedie一阶矩,已知其会引入限制质量的偏差。现有的二阶近似因计算代价过高而不切实际,使得标准反向扩散过程在后验采样中难以处理。本文提出代理损失二阶Tweedie采样器(STSL),一种新颖采样器,其提供与一阶Tweedie相当的效率,并利用二阶近似实现可处理的反向过程。我们的理论结果表明,二阶近似由我们的代理损失下界所界定,该损失仅需使用Hessian的迹进行计算,且由该下界我们推导出新漂移项以使反向过程可处理。我们的方法超越SoTA求解器PSLD与P2L,分别实现神经函数评估4倍与8倍的减少,同时在FFHQ、ImageNet与COCO基准上显著提升采样质量。此外,我们展示STSL可扩展至文本引导图像编辑,并解决主流文本引导图像编辑方法中受损图像残留的失真。据我们所知,这是首项在利用隐扩散求解逆问题及编辑含损坏的真实世界图像中提供高效二阶近似的工作。
引用
@article{arxiv.2312.00852,
title = {Beyond First-Order Tweedie: Solving Inverse Problems using Latent Diffusion},
author = {Litu Rout and Yujia Chen and Abhishek Kumar and Constantine Caramanis and Sanjay Shakkottai and Wen-Sheng Chu},
journal= {arXiv preprint arXiv:2312.00852},
year = {2023}
}
备注
Preprint