中文

Warp-as-History:从一段训练视频实现通用相机控制视频生成

计算机视觉与模式识别 2026-05-15 v1

摘要

相机控制视频生成取得了显著进展,使生成视频能够遵循指定的视点轨迹。然而,现有方法通常通过相机编码器、控制分支或注意力和位置编码修改来学习相机特定的条件化,往往需要在大规模相机标注视频上进行后训练。训练-free 方法可避免此类后训练,但常将成本转移到测试时优化或额外的去噪时指导。我们提出 Warp-as-History,一种简单接口,将相机引起的视差转化为相机视差化的伪历史,实现目标帧的位置对齐和可见标记选择。给定目标相机轨迹,我们从过去的观察中构建相机视差化伪历史,并通过模型的视觉历史路径进行处理。关键在于,我们将其位置编码与正在去噪的目标帧对齐,并删除无有效来源观察的视差化历史标记。无需任何训练、架构修改或测试时优化,该接口揭示了冻结视频生成模型遵循相机轨迹的非平凡零-shot 能力。此外,轻量级的离线 LoRA 微调仅需一个相机标注视频即可进一步提升此能力,并可推广到不可见视频,提高相机遵循度、视觉质量和运动动态,无需测试时优化或目标视频适应。广泛的实验在多样化数据集上确认了我们方法的有效性。

关键词

引用

@article{arxiv.2605.15182,
  title  = {Warp-as-History: Generalizable Camera-Controlled Video Generation from One Training Video},
  author = {Yifan Wang and Tong He},
  journal= {arXiv preprint arXiv:2605.15182},
  year   = {2026}
}

备注

Project page: https://yyfz.github.io/warp-as-history/