基于半参数学习的单RGBD相机人体体积捕获
计算机视觉与模式识别
2019-05-30 v1
摘要
体积（4D）表演捕获是AR/VR内容生成的基础。尽管先前4D表演捕获工作已在 studio 环境中展现出令人印象深刻的成果，该技术仍远未被典型消费者所用——他们至多可能拥有一台单RGBD传感器。因此，本工作中我们提出一种使用单RGBD相机合成自由视点绘制的方法。关键洞见是利用给定用户先前看到的“校准”图像，来推断传感器可用数据中应于新视点绘制的内容。给定来自多视点的这些过往观测以及来自固定视点的当前RGBD图像，我们提出一个端到端框架，融合这两类数据源以生成表演者的新绘制图像。我们证明该方法可生成高保真图像，并处理受试者姿态与相机视点的极端变化。我们还展示该系统可泛化至训练数据中未出现的表演者。我们进行了详尽实验，证明所提出的半参数模型（即神经网络可用的校准图像）相较于其他最先进的机器学习方案的有效性。此外，我们将该方法与采用多视点捕获的更传统流水线进行比较。我们展示我们的框架能够以远少于先前所需的基础设施实现引人注目的结果。
引用
@article{arxiv.1905.12162,
title = {Volumetric Capture of Humans with a Single RGBD Camera via Semi-Parametric Learning},
author = {Rohit Pandey and Anastasia Tkach and Shuoran Yang and Pavel Pidlypenskyi and Jonathan Taylor and Ricardo Martin-Brualla and Andrea Tagliasacchi and George Papandreou and Philip Davidson and Cem Keskin and Shahram Izadi and Sean Fanello},
journal= {arXiv preprint arXiv:1905.12162},
year = {2019}
}