用于修正流图像编辑的最优输运
计算机视觉与模式识别
2025-09-23 v2
摘要
在修正流模型中进行图像编辑仍面临重建保真度与编辑灵活性之间的根本权衡。虽然基于反演的方法存在轨迹偏差问题,但最近出现的无反演方法如 FlowEdit 提供了直接的编辑路径,但可以受到额外指导以提高结构保持。本文演示了最优输运理论提供了统一框架,用于改进两种方法在修正流编辑中的表现。我们引入一个零样本输运引导的反演框架,利用最优输运在反向扩散过程中进行引导,并通过输运优化的速度场校正扩展最优输运原则以增强无反演方法。将输运基于的指导纳入可以有效平衡重建准确性和编辑可控性,在不同的修正流编辑方法之间。对于基于反演的编辑,我们的方法在面部编辑基准测试中实现高保真重建,LPIPS 分数为 0.001,SSIM 为 0.992,在 LSUN 数据集上观察到相较于 RF-Inversion 的 7.8%至 12.9% 的改进。对于 FLUX 和 Stable Diffusion 3 上的 FlowEdit 无反演编辑,我们在各种编辑场景中 demonstrate 了语义一致性和结构保持方面的持续改进。我们的语义面部编辑实验显示在身份保持方面实现了 11.2% 的改进,并增强了感知质量。这种统一的最优输运框架在两种无反演和直接编辑范式中都产生视觉引人注目且细节保持 superior 的编辑。代码可在 https://github.com/marianlupascu/OT-RF 上获取。
引用
@article{arxiv.2508.02363,
title = {Optimal Transport for Rectified Flow Image Editing: Unifying Inversion-Based and Direct Methods},
author = {Marian Lupascu and Mihai-Sorin Stupariu},
journal= {arXiv preprint arXiv:2508.02363},
year = {2025}
}
备注
27 pages, 26 figures, WACV conference