MetaCap：从多视图图像中元学习先验以用于稀疏视图人体性能捕捉与渲染

从稀疏 RGB 观测中进行保真的人体性能捕捉与自由视角渲染是计算机视觉与图形学中一个长期存在的问题。主要挑战在于观测的缺乏以及该设定固有的歧义性，例如遮挡和深度歧义。因此，在密集设置下展现出捕捉高频外观和几何细节巨大潜力的辐射场，当在稀疏相机视图上被简单地进行监督时表现不佳，因为该场会直接过拟合于稀疏视图输入。为了解决这一问题，我们提出了 MetaCap，一种在给定人体非常稀疏甚至单视图的情况下，进行高效且高质量几何恢复与新视角合成的方法。我们的核心思想是仅从可能稀疏的多视点视频中元学习辐射场权重，这可以在稀疏人体图像上微调时作为先验。该先验提供了良好的网络权重初始化，从而有效解决稀疏视图捕捉中的歧义性。由于人体的铰接结构和运动引起的表面变形，学习这样的先验并非易事。因此，我们提出在姿态规范化空间中元学习场权重，这减小了空间特征范围并使特征学习更有效。因此，可以微调我们的场参数以快速泛化至未见姿态、新光照条件以及新颖且稀疏（甚至单目）的相机视图。为了在不同场景下评估我们的方法，我们收集了一个新数据集 WildDynaCap，其中包含在密集相机穹顶和野外稀疏相机装置下捕捉的受试者，并在公开数据集和 WildDynaCap 数据集上均展示了优于近期 SOTA 方法的结果。