可泛化神经表演者：学习鲁棒辐射场用于人体新视角合成
计算机视觉与模式识别
2022-04-26 v1
摘要
本工作旨在使用通用深度学习框架合成任意人体表演者的自由视角图像，仅需要稀疏数量的相机视角作为输入，并避免逐案例微调。由关节化身体姿态、体型和服装类型引起的大幅几何与外观变化是该任务的关键瓶颈。为克服这些挑战，我们提出了一个简单而强大的框架，名为可泛化神经表演者（Generalizable Neural Performer, GNR），其在各种几何与外观上学习可泛化且鲁棒的神经网络人体表示。具体而言，我们将新视角人体渲染的光场压缩为来自几何与外观两方面的条件隐式神经辐射场。我们首先引入隐式几何身体嵌入策略，基于参数化三维人体模型与多视角图像提示来增强鲁棒性。我们进一步提出屏幕空间遮挡感知外观混合技术，通过以宽松但近似的几何引导将源视角外观插值到辐射场中，以保留高质量外观。为评估我们的方法，我们展示了正在进行的构建具有显著复杂性与多样性数据集的努力。该数据集 GeneBody-1.0 包含多视角相机捕获下 370 个主体的超过 3.6 亿帧，执行大量多样姿态动作，并伴随多样的体型、服装、配饰与发型。在 GeneBody-1.0 和 ZJU-Mocap 上的实验表明，在所有跨数据集、未见主体和未见姿态设定下，我们的方法比近期最先进（SOTA）的可泛化方法具有更好的鲁棒性。我们还展示了我们的模型相较于前沿逐案例方法的竞争力。数据集、代码与模型将公开可用。
引用
@article{arxiv.2204.11798,
title = {Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis},
author = {Wei Cheng and Su Xu and Jingtan Piao and Chen Qian and Wayne Wu and Kwan-Yee Lin and Hongsheng Li},
journal= {arXiv preprint arXiv:2204.11798},
year = {2022}
}
备注
Project Page: https://generalizable-neural-performer.github.io/ Dataset: https://generalizable-neural-performer.github.io/genebody.html/