HyperNeRF：用于拓扑变化神经辐射场的高维表示
计算机视觉与模式识别
2021-09-13 v2 图形学
摘要
神经辐射场（NeRF）能够以空前的保真度重建场景，近期多项工作扩展了 NeRF 以处理动态场景。重建此类非刚性场景的一种常见方法是通过学习到的形变场，将每幅输入图像中的坐标映射到规范模板坐标空间。然而，这些基于形变的方法难以建模拓扑变化，因为拓扑变化要求形变场中的不连续性，而这些形变场必然是连续的。我们通过将 NeRF 提升到更高维空间，并将对应于每幅单独输入图像的 5D 辐射场表示为该“超空间”中的一个切片，来解决这一局限。我们的方法受水平集方法启发，后者将曲面的演化建模为高维曲面中的切片。我们在两项任务上评估了我们的方法：（i）在输入图像中看到的“时刻”（即场景构型）之间平滑插值并保持视觉合理性；（ii）在固定时刻的新视角合成。我们表明，我们称之为 HyperNeRF 的方法在两项任务上均优于现有方法。相较于 Nerfies，按 LPIPS 度量，HyperNeRF 将插值平均错误率降低 4.1%，新视角合成平均错误率降低 8.6%。更多视频、结果与可视化见 https://hypernerf.github.io。
引用
@article{arxiv.2106.13228,
title = {HyperNeRF: A Higher-Dimensional Representation for Topologically Varying Neural Radiance Fields},
author = {Keunhong Park and Utkarsh Sinha and Peter Hedman and Jonathan T. Barron and Sofien Bouaziz and Dan B Goldman and Ricardo Martin-Brualla and Steven M. Seitz},
journal= {arXiv preprint arXiv:2106.13228},
year = {2021}
}
备注
SIGGRAPH Asia 2021, Project page: https://hypernerf.github.io/