FastDrag：一种一步式图像编辑方法
计算机视觉与模式识别
2024-10-30 v3
摘要
基于生成模型的拖拽图像编辑提供了对图像内容的精确控制，使用户能够通过几次点击对图像中的任何内容进行操作。然而，现有方法通常采用 步迭代进行潜在语义优化，以实现拖拽式图像编辑，这既耗时又限制了实际应用。在本文中，我们引入了一种新的单步拖拽图像编辑方法，即 FastDrag，以加速编辑过程。我们方法的核心是潜在畸变函数（LWF），它模拟拉伸材料的行为，以在潜在空间中调整单个像素的位置。这种创新实现了单步潜在语义优化，从而显著提升了编辑速度。同时，针对应用 LWF 后出现的空白区域，我们提出了双线性最近邻插值（BNNI）策略。该策略利用相邻区域中相似特征进行插值，从而增强了语义完整性。此外，还引入一种保持一致性的策略，通过采用保存在扩散反向期间存储在自注意力模块中的原始图像的关键和值对，来指导扩散采样，以维持编辑后图像与原始图像之间的一致性。我们在 DragBench 数据集上对 FastDrag 进行了验证，结果显示其在处理时间上显著优于现有方法，同时实现了更好的编辑性能。项目页面：https://fastdrag-site.github.io/。
引用
@article{arxiv.2405.15769,
title = {FastDrag: Manipulate Anything in One Step},
author = {Xuanjia Zhao and Jian Guan and Congyi Fan and Dongli Xu and Youtian Lin and Haiwei Pan and Pengming Feng},
journal= {arXiv preprint arXiv:2405.15769},
year = {2024}
}
备注
NeurIPS 2024 Accept, Project Page: https://fastdrag-site.github.io/