KeypointNeRF：利用关键点相对空间编码泛化基于图像的体素化虚拟人
计算机视觉与模式识别
2022-07-22 v2
摘要
使用像素对齐特征的基于图像的体素化人体有望泛化至未见过的姿态与身份。已有工作利用全局空间编码与多视图几何一致性来减少空间歧义。然而，全局编码常受过拟合训练数据分布的困扰，且难以从稀疏视图学习多视图一致重建。本工作中，我们调研了现有空间编码的常见问题，并提出了一种简单却高效的从稀疏视图建模高保真体素化人体方法。关键思想之一是通过稀疏 3D 关键点编码相对空间 3D 信息。该方法对视角的稀疏性与跨数据集领域差异具有鲁棒性。我们的方法在头部重建上优于 SOTA 方法。对于未见主体的身体重建，我们也取得了与使用参数化人体模型与时序特征聚合的已有工作相当的性能。我们的实验表明，已有工作中的大多数错误源于不适当的空间编码选择，因此我们提出了高保真基于图像人体建模的新方向。https://markomih.github.io/KeypointNeRF
引用
@article{arxiv.2205.04992,
title = {KeypointNeRF: Generalizing Image-based Volumetric Avatars using Relative Spatial Encoding of Keypoints},
author = {Marko Mihajlovic and Aayush Bansal and Michael Zollhoefer and Siyu Tang and Shunsuke Saito},
journal= {arXiv preprint arXiv:2205.04992},
year = {2022}
}
备注
To appear at ECCV 2022. The project page is available at https://markomih.github.io/KeypointNeRF