SHERF：基于单张图像的可泛化人体NeRF
计算机视觉与模式识别
2023-08-17 v2
摘要
现有人体NeRF方法用于重建3D人体时通常依赖多视角相机的多张2D图像或固定相机视角拍摄的单目视频。然而，在真实场景中，人体图像常从随机相机角度拍摄，给高质量3D人体重建带来挑战。本文提出SHERF，首个可从单张输入图像恢复可动画3D人体的可泛化人体NeRF模型。SHERF在规范空间中提取并编码3D人体表示，支持从自由视角和姿态进行渲染与动画。为实现高保真新视角与新姿态合成，所编码的3D人体表示应同时捕捉全局外观与局部细粒度纹理。为此，我们提出一组3D感知分层特征库，包括全局、点级和像素对齐特征，以促进信息丰富的编码。全局特征增强从单张输入图像提取的信息并补充部分2D观测缺失的信息；点级特征提供3D人体结构的强线索，而像素对齐特征保留更多细粒度细节。为有效整合该3D感知分层特征库，我们设计了特征融合Transformer。在THuman、RenderPeople、ZJU_MoCap和HuMMan数据集上的大量实验表明，SHERF达到了最先进性能，对新视角与新姿态合成具有更好的泛化能力。
引用
@article{arxiv.2303.12791,
title = {SHERF: Generalizable Human NeRF from a Single Image},
author = {Shoukang Hu and Fangzhou Hong and Liang Pan and Haiyi Mei and Lei Yang and Ziwei Liu},
journal= {arXiv preprint arXiv:2303.12791},
year = {2023}
}
备注
Accepted by ICCV2023. Project webpage: https://skhu101.github.io/SHERF/