NeuralDome：面向多视角人机交互的神经建模流水线
计算机视觉与模式识别
2022-12-16 v1
摘要
人类在日常生活中不断与物体交互。从固定视角捕捉此类过程并随后进行视觉推断会受到遮挡、形状与纹理歧义、运动等问题的困扰。为缓解该问题，构建一个捕捉自由视角交互的训练数据集至关重要。我们搭建了一个密集多视角穹顶以采集复杂人机交互数据集，命名为HODome，包含10名受试者与23个物体交互的约7500万帧。为处理HODome数据集，我们开发了NeuralDome，一种专为多视角视频输入设计的分层神经处理流水线，可对人类受试者与物体进行精确跟踪、几何重建与自由视角渲染。在HODome数据集上的大量实验证明了NeuralDome在多种推断、建模与渲染任务上的有效性。该数据集与NeuralDome工具将向社区发布以进一步推动开发。
引用
@article{arxiv.2212.07626,
title = {NeuralDome: A Neural Modeling Pipeline on Multi-View Human-Object Interactions},
author = {Juze Zhang and Haimin Luo and Hongdi Yang and Xinru Xu and Qianyang Wu and Ye Shi and Jingyi Yu and Lan Xu and Jingya Wang},
journal= {arXiv preprint arXiv:2212.07626},
year = {2022}
}