FreeInv：改进DDIM反演的免费午餐
计算机视觉与模式识别
2025-11-25 v2
摘要
朴素的DDIM反演过程通常存在轨迹偏差问题，即重建过程中的潜变量轨迹偏离了反演过程中的轨迹。为了缓解这一问题，以往的方法要么学习减轻偏差，要么设计繁琐的补偿策略以减少失配误差，这带来了大量的时间和计算成本。在这项工作中，我们提出了一种近乎免费的方法（命名为FreeInv），以更有效、更高效的方式解决该问题。在FreeInv中，我们随机变换潜变量表示，并在对应的反演与重建时间步之间保持该变换一致。其动机源于统计视角，即针对多条轨迹的DDIM反演过程集合在期望上能产生更小的轨迹失配误差。此外，通过理论分析与实证研究，我们表明FreeInv实现了多轨迹的高效集成。FreeInv可以自由集成到现有的基于反演的图像和视频编辑技术中。特别是在反演视频序列时，它带来了更显著的保真度与效率提升。在PIE基准和DAVIS数据集上的综合定量与定性评估表明，FreeInv显著优于传统DDIM反演，并在计算效率优越的情况下与以往SOTA反演方法相比具有竞争力。
引用
@article{arxiv.2503.23035,
title = {FreeInv: Free Lunch for Improving DDIM Inversion},
author = {Yuxiang Bao and Huijie Liu and Xun Gao and Huan Fu and Guoliang Kang},
journal= {arXiv preprint arXiv:2503.23035},
year = {2025}
}