HumanRF：面向运动中的高保真神经辐射场人体表示
计算机视觉与模式识别
2023-05-12 v2 图形学
机器学习
摘要
以高保真度表示人体表演是电影制作、计算机游戏或视频会议等多样应用中的基本构建块。为缩小与制作级质量的差距，我们引入 HumanRF，一种 4D 动态神经场景表示，它从多视角视频输入中捕捉运动中的全身外观，并支持从新颖、未见过的视角回放。我们的新表示充当动态视频编码，通过将时空分解为时间矩阵-向量分解，以高压缩率捕捉精细细节。这使我们能够对长序列中的人体演员获得时间连贯的重建，同时在具有挑战性的运动背景下表示高分辨率细节。虽然大多数研究聚焦于以 4MP 或更低分辨率合成，我们应对了在 12MP 下运行的挑战。为此，我们引入 ActorsHQ，一种新颖的多视角数据集，提供来自 160 个相机的 16 个序列的 12MP footage，带有高保真、逐帧网格重建。我们展示了使用如此高分辨率数据所产生的挑战，并表明我们新引入的 HumanRF 有效利用了该数据，朝着制作级质量的新型视角合成迈出了重要一步。
引用
@article{arxiv.2305.06356,
title = {HumanRF: High-Fidelity Neural Radiance Fields for Humans in Motion},
author = {Mustafa Işık and Martin Rünz and Markos Georgopoulos and Taras Khakhulin and Jonathan Starck and Lourdes Agapito and Matthias Nießner},
journal= {arXiv preprint arXiv:2305.06356},
year = {2023}
}
备注
Project webpage: https://synthesiaresearch.github.io/humanrf Dataset webpage: https://www.actors-hq.com/ Video: https://www.youtube.com/watch?v=OTnhiLLE7io Code: https://github.com/synthesiaresearch/humanrf