AutoVFX：从自然语言指令创建物理上真实的视频编辑
计算机视觉与模式识别
2024-11-05 v1
摘要
现代视觉特效（VFX）软件使得熟练的艺术家能够创建几乎可以实现任何样子的图像。然而，创建过程仍然繁琐、复杂，并且基本上无法访问给普通用户。本文我们提出了 AutoVFX 框架，该框架可从单个视频和自然语言指令自动创建真实且动态的 VFX 视频。通过仔细集成神经场景建模、LLM 驱动的代码生成和物理仿真，AutoVFX 能够提供基于物理的、照片级的编辑效果，这些效果可直接使用自然语言指令进行控制。我们进行了大量实验以验证 AutoVFX 在多样化的视频和指令范围内的有效性。定性和定量结果表明，AutoVFX 在生成质量、指令对齐、编辑灵活性和物理合理性方面均显著优于所有竞争方法。
引用
@article{arxiv.2411.02394,
title = {AutoVFX: Physically Realistic Video Editing from Natural Language Instructions},
author = {Hao-Yu Hsu and Zhi-Hao Lin and Albert Zhai and Hongchi Xia and Shenlong Wang},
journal= {arXiv preprint arXiv:2411.02394},
year = {2024}
}
备注
Project page: https://haoyuhsu.github.io/autovfx-website/