Total-Recon：面向具身视角合成的可变形场景重建
计算机视觉与模式识别
2023-10-03 v2 图形学
机器学习
摘要
我们探索了基于可变形场景单目视频的具身视角合成任务。给定一段人物与宠物互动的分钟级RGBD视频，我们从由场景内参与者运动衍生的新相机轨迹渲染场景：（1）模拟目标参与者视点的自我中心相机，以及（2）跟随参与者的第三人称相机。构建此类系统需要重建每个参与者的根躯干与关节运动，以及支持自由视点合成的场景表示。较长的视频更可能从多样视角捕捉场景（有助于重建），但也更可能包含较大运动（使重建复杂化）。为应对这些挑战，我们提出Total-Recon，这是首个从长单目RGBD视频逼真重建可变形场景的方法。关键在于，为扩展到长视频，我们的方法将场景分层分解为背景与物体，其运动被分解为精心初始化的根躯干运动与局部关节运动。为量化此类“野外”重建与视角合成，我们使用专门的立体RGBD采集装置收集了11段挑战性视频的地面真实数据，显著优于先前方法。我们的代码、模型与数据可在 https://andrewsonga.github.io/totalrecon 获取。
引用
@article{arxiv.2304.12317,
title = {Total-Recon: Deformable Scene Reconstruction for Embodied View Synthesis},
author = {Chonghyuk Song and Gengshan Yang and Kangle Deng and Jun-Yan Zhu and Deva Ramanan},
journal= {arXiv preprint arXiv:2304.12317},
year = {2023}
}
备注
ICCV 2023 camera-ready version. Project page with code, models, and data: https://andrewsonga.github.io/totalrecon