面向逆问题的提示引导双潜变量引导
计算机视觉与模式识别
2025-09-24 v1
摘要
将受损图像反演到扩散模型的潜空间具有挑战性。现有方法将图像编码为单一潜向量，难以平衡结构保真度与语义准确性，导致重建出现语义漂移，如细节模糊或属性错误。为克服这一问题，我们引入了提示引导双潜变量引导（PDLS），这是一种基于Rectified Flow模型的新型无训练框架，因其具有稳定的反演路径。PDLS将反演过程分解为两个互补流：用于保持源完整性的结构路径和由提示引导的语义路径。我们将这种双重引导表述为最优控制问题，并通过线性二次型调节器（LQR）推导出闭式解。该控制器在每一步动态引导生成轨迹，在防止语义漂移的同时确保细节的保留，且无需昂贵的逐图像优化。在FFHQ-1K和ImageNet-1K上针对各种逆问题任务（包括高斯去模糊、运动去模糊、超分辨率和自由形式修复）的大量实验表明，与单潜变量基线相比，PDLS生成的重建结果不仅更忠实于原始图像，而且更好地与语义信息对齐。
引用
@article{arxiv.2509.18619,
title = {Prompt-Guided Dual Latent Steering for Inversion Problems},
author = {Yichen Wu and Xu Liu and Chenxuan Zhao and Xinyu Wu},
journal= {arXiv preprint arXiv:2509.18619},
year = {2025}
}
备注
Accepted at DICTA 2025 (oral)