ByteMorph：针对非刚性运动指令引导图像编辑的基准测试
计算机视觉与模式识别
2025-06-12 v2
摘要
使用指令编辑图像以反映非刚性运动、相机视角变化、物体形变、人体姿态以及复杂交互，是计算机视觉中一个具有挑战性但尚未充分探索的问题。现有方法和数据集主要关注静态场景或刚性变换，限制了其处理涉及动态运动的表现性编辑的能力。为了填补这一空白，我们引入了 ByteMorph，一个以非刚性运动为重点的基于指令的图像编辑综合框架。ByteMorph 包含一个大规模数据集 ByteMorph-6M 和一个基于 Diffusion Transformer (DiT) 构建的强大基线模型，命名为 ByteMorpher。ByteMorph-6M 包含超过 600 万对用于训练的高分辨率图像编辑对，以及一个精心策划的评估基准 ByteMorph-Bench。两者都捕捉了在不同环境、人物和物体类别中各种非刚性运动类型。该数据集使用运动引导数据生成、分层合成技术和自动标注来构建，以确保多样性、真实性和语义连贯性。我们进一步对来自学术和商业领域的最新基于指令的图像编辑方法进行了全面评估。
引用
@article{arxiv.2506.03107,
title = {ByteMorph: Benchmarking Instruction-Guided Image Editing with Non-Rigid Motions},
author = {Di Chang and Mingdeng Cao and Yichun Shi and Bo Liu and Shengqu Cai and Shijie Zhou and Weilin Huang and Gordon Wetzstein and Mohammad Soleymani and Peng Wang},
journal= {arXiv preprint arXiv:2506.03107},
year = {2025}
}
备注
Website: https://boese0601.github.io/bytemorph Dataset: https://huggingface.co/datasets/ByteDance-Seed/BM-6M Benchmark: https://huggingface.co/datasets/ByteDance-Seed/BM-Bench Code: https://github.com/ByteDance-Seed/BM-code Demo: https://huggingface.co/spaces/Boese0601/ByteMorph-Demo