驯化修正流用于逆变换与编辑
计算机视觉与模式识别
2025-06-16 v3
摘要
基于修正流的扩散Transformer模型如 FLUX 和 OpenSora 在图像与视频生成领域展现了卓越性能。尽管其生成能力强大，但这些模型在逆变换精度上常常存在不足，从而限制了其在图像与视频编辑等下游任务中的有效性。为解决这一问题，我们提出了 RF-Solver，一种新型无需训练的采样器，通过缓解修正流中常微分方程（ODE）求解过程的误差来有效提升逆变换精度。具体而言，我们推导了修正流 ODE 的精确形式，并利用高阶泰勒展开估计其非线性成分，显著增强了每个时间步上 ODE 解的精度。基于 RF-Solver，我们进一步提出了 RF-Edit，一个通用的基于特征共享的图像与视频编辑框架。通过将逆变换过程中的自注意力特征融入编辑过程，RF-Edit 在保持源图像或视频结构信息的同时实现了高质量的编辑效果。我们的方法兼容任何预训练的基于修正流的图像与视频模型，无需额外的训练或优化。在图像与视频模态的生成、逆变换和编辑任务上的大量实验证明了本方法的优越性与通用性。源代码地址：https://github.com/wangjiangshan0725/RF-Solver-Edit。
引用
@article{arxiv.2411.04746,
title = {Taming Rectified Flow for Inversion and Editing},
author = {Jiangshan Wang and Junfu Pu and Zhongang Qi and Jiayi Guo and Yue Ma and Nisha Huang and Yuxin Chen and Xiu Li and Ying Shan},
journal= {arXiv preprint arXiv:2411.04746},
year = {2025}
}
备注
ICML 2025; GitHub: https://github.com/wangjiangshan0725/RF-Solver-Edit