WorldCraft：从相机导航到视频世界模型中的对象操控
计算机视觉与模式识别
2026-05-26 v1
摘要
最近的基于视频的世界模型已实现了相机层级的像素空间环境交互：用户可以在模型生成连贯视觉延续的同时导航视点。然而，这些模型的动作空间仍不完整：用户可以移动相机，但无法对单个对象进行操控。由于现实世界交互本质上是以对象为中心的，这些模型仍接近被动场景观察者，而非真正可操控的环境。我们提出 WorldCraft 框架，扩展了从相机导航到对象级轨迹动作的交互式视频世界模型。给定用户点击和草拟的路径，WorldCraft 生成后续帧，使所选对象遵循给定轨迹，同时相机继续导航场景。WorldCraft 通过轨迹中心控制管道实现：首先，归一化世界轨迹 (NWT) 表示用户绘制的运动，在相机不变的世界坐标系中动态重新投影，以分离对象运动和相机引起的屏幕空间位移；空间路径 LoRA (SP-LoRA) 然后通过模型的空间控制通道注入此世界空间信号，添加对象操控能力，同时保留预训练的相机控制器；最后，轨迹锚定状态持久化 (TASP) 将世界轨迹视为持久空间状态，并在轨迹条件生成后刷新自回归记忆，使离开相机视野后移动后的对象能够以其更新位置重新出现。实验表明，WorldCraft 实现了准确的对象控制，在仅进行相机评估的情况下保持了视频世界模型的相机保真度，并在带有离相机视野运动的长期自回归推演中保持对象状态。
引用
@article{arxiv.2605.25077,
title = {WorldCraft: From Camera Navigation to Object Manipulation in Interactive Video World Models},
author = {Bohai Gu and Taiyi Wu and Yueyang Yuan and Jian Liu and Xiaocheng Lu and Dazhao Du and Jie Zhang and Jinxiang Lai and Shuai Yang and Xiaotong Zhao and Alan Zhao and Song Guo},
journal= {arXiv preprint arXiv:2605.25077},
year = {2026}
}
备注
Project page: https://nevsdev.github.io/WorldCraft/