利用少量 RGBD 相机学习动态视图合成
计算机视觉与模式识别
2022-05-05 v2 图形学
摘要
近年来，动态新视角合成取得了显著进展。然而，当前的深度学习模型常需要（1）先验模型（如 SMPL 人体模型）、（2）繁重的预处理或（3）逐场景优化。我们提出利用 RGBD 相机以消除这些限制，并合成动态室内场景的自由视点视频。我们从 RGBD 帧生成特征点云，随后通过神经渲染器将其渲染为自由视点视频。然而，不准确、不稳定且不完整的深度测量会引发严重的畸变、闪烁与重影伪影。我们通过提出的循环重建一致性与时间稳定化模块强制时空一致性，以减少这些伪影。我们引入一个简单的区域深度修复模块，自适应地填补缺失深度值以渲染完整的新视角。此外，我们提出一个人体—物体交互（HTI）数据集以验证我们的方法并促进未来研究。该数据集包含 43 段多视角 RGBD 视频序列，记录日常活动中人体与其周围环境的复杂交互。在 HTI 数据集上的实验表明，我们的方法在逐帧图像保真度与时空一致性上优于基线。我们将很快在网站上发布代码与数据集。
引用
@article{arxiv.2204.10477,
title = {Learning Dynamic View Synthesis With Few RGBD Cameras},
author = {Shengze Wang and YoungJoong Kwon and Yuan Shen and Qian Zhang and Andrei State and Jia-Bin Huang and Henry Fuchs},
journal= {arXiv preprint arXiv:2204.10477},
year = {2022}
}
备注
One of the coauthors believes that this work should be improved more before releasing it on arXiv, and thus suggested withdrawing this paper. There will not be a replacement for this paper