用于实时三维人体重建与运动捕捉的集成平台

三维捕获、处理与渲染的最新进展为开启新型三维应用路径提供了手段。本文描述了面向远程沉浸与未来三维应用的集成平台的主要元素，涉及实时捕获、鲁棒的三维人体形状/外观重建以及基于骨架的运动追踪等任务。更具体地，首先给出多 RGB 深度（RGB-D）捕获系统的细节，以及一种新颖的传感器标定方法。随后提出一种基于增强型基于体积傅里叶变换方法的、并行于图形处理单元上的多 RGB-D 流鲁棒快速重建方法，并辅以适当的纹理映射算法。在此基础上，鉴于缺乏相关的客观评价方法，提出一种用于实时三维重建系统定量评价的新框架。最后，提出一种通用的、基于多深度流的精确实时人体骨架追踪方法。使用多 Kinect2 数据集的详细实验结果验证了我们的论点以及所提出系统与方法的有效性。