提示微调潜扩散模型用于逆问题
机器学习
2023-10-03 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出一种利用文本到图像潜扩散模型作为通用先验来解决成像逆问题的新方法。现有使用潜扩散模型处理逆问题的方法通常依赖于简单的空文本提示（null text prompts），这可能导致次优性能。为克服该局限，我们引入一种提示微调（prompt tuning）方法，在运行反向扩散过程的同时在线联合优化文本嵌入。这使我们能够生成更忠实于扩散先验的图像。此外，我们提出一种通过投影将潜变量演化保持在编码器值域空间内的方法。这有助于减少图像伪影，而伪影是使用潜扩散模型而非基于像素的扩散模型时的一个主要问题。我们结合的方法称为 P2L，在超分辨率、去模糊和修复等多种任务上优于基于图像和基于潜扩散模型的逆问题求解器。
引用
@article{arxiv.2310.01110,
title = {Prompt-tuning latent diffusion models for inverse problems},
author = {Hyungjin Chung and Jong Chul Ye and Peyman Milanfar and Mauricio Delbracio},
journal= {arXiv preprint arXiv:2310.01110},
year = {2023}
}
备注
22 pages, 10 figures