中文

DragNeXt:重新思考基于拖拽的图像编辑

计算机视觉与模式识别 2026-01-27 v2

摘要

基于拖拽的数值图像编辑 (DBIE) 允许用户直接在图像内拖动对象进行操作,近期受到社区广泛关注。然而,它面临两个关键挑战:(\emph{\textcolor{magenta}{i}}) 基于点的拖拽往往高度模糊,难以对齐用户意图;(\emph{\textcolor{magenta}{ii}}) 当前 DBIE 方法主要依赖运动监督与点跟踪之间的交替,既繁琐又难以产生高质量结果。这些限制促使我们从新视角探索 DBIE——将其定义为用户指定区域的变形、旋转和平移。通过要求用户显式指定拖拽区域和类型,可有效解决歧义问题。进而,我们提出一种简洁而有效的编辑框架,称为 \textcolor{SkyBlue}{\textbf{DragNeXt}}。将 DBIE 统一为潜在区域优化 (LRO) 问题,通过渐进式反向自我干预 (PBSI) 求解,既简化了 DBIE 的整体流程,又通过充分利用区域级结构信息和来自中间拖拽状态的渐进引导,进一步提升了质量。我们在自建的 NextBench 上验证了 \textcolor{SkyBlue}{\textbf{DragNeXt}},并进行了大量实验表明该方法显著优于现有方法。代码将在 GitHub 上发布。

关键词

引用

@article{arxiv.2506.07611,
  title  = {DragNeXt: Rethinking Drag-Based Image Editing},
  author = {Yuan Zhou and Junbao Zhou and Qingshan Xu and Kesen Zhao and Yuxuan Wang and Hao Fei and Richang Hong and Hanwang Zhang},
  journal= {arXiv preprint arXiv:2506.07611},
  year   = {2026}
}

备注

https://github.com/zhouyuan888888/DragNeXt