Neural Human Performer：学习可泛化的辐射场用于人体表演渲染
计算机视觉与模式识别
2021-09-16 v1 图形学
摘要
在本文中，我们旨在利用稀疏多视角相机合成任意人体表演的自由视角视频。近来，若干工作通过学习了特定人物的神经辐射场（NeRF）来捕捉特定人物的外观，以解决该问题。与此同时，一些工作提出使用像素对齐特征将辐射场泛化到任意新场景与物体。然而，由于身体部位的严重遮挡与动态关节运动，将此类泛化方法应用于人体极具挑战。为此，我们提出 Neural Human Performer，一种基于参数化人体模型学习可泛化神经辐射场以实现鲁棒表演捕捉的新方法。具体而言，我们首先引入一个时序 transformer，基于骨骼身体运动随时间聚合被追踪的视觉特征。此外，提出一个多视角 transformer，在每一时间步对时序融合特征与像素对齐特征执行交叉注意力，以即时整合来自多视角的观测。在 ZJU-MoCap 与 AIST 数据集上的实验表明，我们的方法在未见身份与姿态上显著优于近期的可泛化 NeRF 方法。视频结果与代码见 https://youngjoongunc.github.io/nhp。
引用
@article{arxiv.2109.07448,
title = {Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering},
author = {Youngjoong Kwon and Dahun Kim and Duygu Ceylan and Henry Fuchs},
journal= {arXiv preprint arXiv:2109.07448},
year = {2021}
}