自由视点 RGB-D 人体性能捕捉与绘制

从新视角捕捉并忠实绘制照片级真实感人体是 AR/VR 应用中的一个基本问题。尽管已有工作在实验室环境下展示了令人印象深刻的性能捕捉结果，但实现针对未见身份的 casual 自由视点人体捕捉与高保真绘制仍非易事，尤其对于面部表情、手部和衣物而言。为应对这些挑战，我们引入了一种新视角合成框架，该框架可从单视角和稀疏 RGB-D 传感器（类似于低成本深度相机）捕捉的任意人体生成未见视角的真实感绘制，且无需特定演员模型。我们提出了一种架构，通过基于球面的神经绘制在新视角中创建稠密特征图，并利用全局上下文修复模型生成完整绘制结果。此外，一个增强网络提升了整体保真度，即便在原始视角中被遮挡的区域也能生成具有精细细节的清晰绘制。我们表明，给定单流稀疏 RGB-D 输入，我们的方法能生成合成与真实人体演员的高质量新视角。它可泛化至未见身份与新姿态，并忠实重建面部表情。我们的方法优于先前的视角合成方法，并对不同水平的深度稀疏性具有鲁棒性。