HOSNeRF：基于单目视频的动态人-物-场景神经辐射场
计算机视觉与模式识别
2023-04-25 v1
摘要
我们提出 HOSNeRF，一种新颖的 360° 自由视点渲染方法，可从单目野外视频中重建动态人-物-场景的神经辐射场。我们的方法能够在任意帧暂停视频，并从任意视点渲染所有场景细节（动态人体、物体和背景）。该任务的首要挑战是人-物交互中的复杂物体运动，我们通过将新的物体骨骼引入传统人体骨架层级，在我们的动态人-物模型中有效估计大幅物体形变来应对。第二个挑战是人类在不同时间与不同物体交互，为此我们引入两个新的可学习物体状态嵌入，可分别用作学习我们的人-物表示和场景表示的条件。大量实验表明，在 LPIPS 指标上，HOSNeRF 在两个具有挑战性的数据集上以 40% ~ 50% 的大幅度显著优于 SOTA 方法。代码、数据以及基于单视频的 360° 自由视点渲染的引人示例将在 https://showlab.github.io/HOSNeRF 发布。
引用
@article{arxiv.2304.12281,
title = {HOSNeRF: Dynamic Human-Object-Scene Neural Radiance Fields from a Single Video},
author = {Jia-Wei Liu and Yan-Pei Cao and Tianyuan Yang and Eric Zhongcong Xu and Jussi Keppo and Ying Shan and Xiaohu Qie and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2304.12281},
year = {2023}
}
备注
Project page: https://showlab.github.io/HOSNeRF