Instant-NVR：基于单目RGBD流的即时神经体渲染用于人机交互
计算机视觉与模式识别
2023-04-07 v1
摘要
便捷的人机交互4D建模对众多应用至关重要。然而，复杂交互场景的单目跟踪与渲染仍然具有挑战性。本文中，我们提出Instant-NVR，一种利用单个RGBD相机进行即时体素人机跟踪与渲染的神经方法。它通过多线程跟踪-渲染机制将传统的非刚性跟踪与近期即时辐射场技术相桥接。在跟踪前端，我们采用鲁棒的人机捕获方案以提供充分的运动先验。我们进一步为交互场景引入一种分离式即时神经表示及新颖的混合形变模块。我们还通过高效运动先验搜索提供动态/静态辐射场的即时重建方案。此外，我们引入在线关键帧选择方案和渲染感知细化策略，以显著改善在线新视角合成的外观细节。大量实验证明了我们的方法在线上即时生成人机辐射场的有效性与高效性，尤其在复杂人机交互下实现了实时的照片级真实新视角合成。
引用
@article{arxiv.2304.03184,
title = {Instant-NVR: Instant Neural Volumetric Rendering for Human-object Interactions from Monocular RGBD Stream},
author = {Yuheng Jiang and Kaixin Yao and Zhuo Su and Zhehao Shen and Haimin Luo and Lan Xu},
journal= {arXiv preprint arXiv:2304.03184},
year = {2023}
}
备注
CVPR 2023