任意场景中的任意物体：逼真视频物体插入
计算机视觉与模式识别
2024-02-01 v1
摘要
逼真的视频模拟在从虚拟现实到电影制作的各种应用中展现出了巨大潜力。对于在现实场景中拍摄视频不切实际或昂贵的场景，这一点尤为显著。现有的视频模拟方法通常无法准确建模光照环境、表示物体几何形状或达到高水平的逼真度。在本文中，我们提出了 Anything in Any Scene，一个新颖且通用的逼真视频模拟框架，能够将任何物体无缝插入到现有的动态视频中，并高度强调物理逼真度。我们提出的通用框架包含三个关键过程：1) 将逼真物体整合到给定的场景视频中并进行适当放置，以确保几何逼真度；2) 估计天空和环境光照分布并模拟逼真阴影，以增强光照逼真度；3) 采用风格迁移网络优化最终视频输出，以最大化逼真度。我们通过实验证明，Anything in Any Scene 框架生成的模拟视频具有极高的几何逼真度、光照逼真度和逼真度。通过显著缓解与视频数据生成相关的挑战，我们的框架为获取高质量视频提供了一种高效且低成本的解决方案。此外，其应用远超视频数据增强，在虚拟现实、视频编辑及其他各种以视频为中心的应用中展现出广阔的前景。请访问我们的项目网站 https://anythinginanyscene.github.io 获取项目代码和更多高分辨率视频结果。
引用
@article{arxiv.2401.17509,
title = {Anything in Any Scene: Photorealistic Video Object Insertion},
author = {Chen Bai and Zeman Shao and Guoxiang Zhang and Di Liang and Jie Yang and Zhuorui Zhang and Yujian Guo and Chengzhang Zhong and Yiqiao Qiu and Zhendong Wang and Yichen Guan and Xiaoyin Zheng and Tao Wang and Cheng Lu},
journal= {arXiv preprint arXiv:2401.17509},
year = {2024}
}