中文

ChronoEdit:面向图像编辑与世界模拟的时间推理

计算机视觉与模式识别 2025-10-20 v2

摘要

近期大型生成模型的进步极大提升了图像编辑和情境图像生成的能力,但仍存在关键缺口:即无法确保物理一致性——编辑后的物体必须保持连贯性。这种能力尤其对世界模拟相关任务至关重要。本文提出 ChronoEdit,一种将图像编辑重新框定为视频生成问题的框架。首先,ChronoEdit 将输入图像和编辑后图像分别视为视频的第一帧和最后一帧,能够利用大型预训练视频生成模型捕获不仅包括物体外观,还包括通过学习的时间一致性所隐含的运动和相互作用物理。其次,ChronoEdit 引入时间推理阶段,在推理阶段显式执行编辑。在此设置下,目标帧与推理标记共同去噪,以构想一个合理的编辑轨迹,将解空间限制在物理可行的转换范围内。随后,在几步后丢弃推理标记,以避免渲染完整视频的高计算成本。为验证 ChronoEdit,我们引入 PBench-Edit,一个用于需要物理一致性的图像-情境对的新基准,证明 ChronoEdit 在视觉保真度和物理合理性方面均超越了最先进的基线。项目页面(代码和模型):https://research.nvidia.com/labs/toronto-ai/chronoedit

关键词

引用

@article{arxiv.2510.04290,
  title  = {ChronoEdit: Towards Temporal Reasoning for Image Editing and World Simulation},
  author = {Jay Zhangjie Wu and Xuanchi Ren and Tianchang Shen and Tianshi Cao and Kai He and Yifan Lu and Ruiyuan Gao and Enze Xie and Shiyi Lan and Jose M. Alvarez and Jun Gao and Sanja Fidler and Zian Wang and Huan Ling},
  journal= {arXiv preprint arXiv:2510.04290},
  year   = {2025}
}

备注

Project Page: https://research.nvidia.com/labs/toronto-ai/chronoedit