基于 NeRF 可微拍摄的电影化行为迁移
计算机视觉与模式识别
2023-11-30 v1 图形学
人机交互
多媒体
摘要
在数字媒体与视频制作不断演进的格局中，对相机运动与角色动作等视觉元素的精确操控与复现备受青睐。现有 SLAM 方法在动态场景中面临局限，而人体姿态估计常聚焦于 2D 投影，忽视了 3D 状态。为解决这些问题，我们首先引入一种反向拍摄行为估计技术。它利用 NeRF 作为可微渲染器并精炼 SMPL 轨迹来优化相机轨迹。随后我们引入一种电影化迁移流水线，能够将各类镜头类型迁移至新的 2D 视频或 3D 虚拟环境。3D 引擎工作流的引入带来了更优的渲染与控制能力，并在用户研究中获得了更高评分。
引用
@article{arxiv.2311.17754,
title = {Cinematic Behavior Transfer via NeRF-based Differentiable Filming},
author = {Xuekun Jiang and Anyi Rao and Jingbo Wang and Dahua Lin and Bo Dai},
journal= {arXiv preprint arXiv:2311.17754},
year = {2023}
}
备注
Project Page: https://virtualfilmstudio.github.io/projects/cinetransfer