Nerfies：可形变神经辐射场
计算机视觉与模式识别
2021-09-13 v5 图形学
摘要
我们提出了第一种能够利用手机随意拍摄的照片/视频逼真重建可形变场景的方法。我们的方法通过优化一个额外的连续体积形变场来增强神经辐射场（NeRF），该形变场将每个观测点扭曲到一个规范的 5D NeRF 中。我们观察到这类类 NeRF 形变场容易陷入局部极小，并提出了一种用于基于坐标模型的由粗到细优化方法，以实现更鲁棒的优化。通过将从几何处理与物理模拟中的原理适配到类 NeRF 模型，我们提出了一种对形变场的弹性正则化，进一步提升了鲁棒性。我们展示了我们的方法能够将随意拍摄的自拍照片/视频转化为可形变的 NeRF 模型，从而允许从任意视角对主体进行逼真渲染，我们称之为“nerfies”。我们通过使用双手机装置采集时间同步数据来评估我们的方法，从而得到相同姿态、不同视角的训练/验证图像。我们展示了我们的方法能忠实重建非刚性形变场景，并高保真地复现未见视角。
引用
@article{arxiv.2011.12948,
title = {Nerfies: Deformable Neural Radiance Fields},
author = {Keunhong Park and Utkarsh Sinha and Jonathan T. Barron and Sofien Bouaziz and Dan B Goldman and Steven M. Seitz and Ricardo Martin-Brualla},
journal= {arXiv preprint arXiv:2011.12948},
year = {2021}
}
备注
ICCV 2021, Project page with videos: https://nerfies.github.io/