BARF：束调整神经辐射场
计算机视觉与模式识别
2021-08-20 v2 图形学
机器学习
机器人学
摘要
神经辐射场（NeRF）近期因能合成真实世界场景的照片级真实新视角而在计算机视觉界获得大量关注。然而，NeRF 的一个局限是它需要准确的相机位姿来学习场景表示。在本文中，我们提出束调整神经辐射场（BARF），用于从不完善（甚至未知）的相机位姿训练 NeRF——即学习神经 3D 表示与配准相机帧的联合问题。我们建立了与经典图像对齐的理论联系，并表明由粗到精的配准也适用于 NeRF。此外，我们表明在 NeRF 中朴素地应用位置编码会对基于合成目标的配准产生负面影响。在合成和真实世界数据上的实验表明，BARF 能有效优化神经场景表示并同时解决大的相机位姿未对齐问题。这使得从未知相机位姿的视频序列中进行视角合成与定位成为可能，为视觉定位系统（如 SLAM）以及密集 3D 建图与重建的潜在应用开辟了新途径。
引用
@article{arxiv.2104.06405,
title = {BARF: Bundle-Adjusting Neural Radiance Fields},
author = {Chen-Hsuan Lin and Wei-Chiu Ma and Antonio Torralba and Simon Lucey},
journal= {arXiv preprint arXiv:2104.06405},
year = {2021}
}
备注
Accepted to ICCV 2021 as oral presentation (project page & code: https://chenhsuanlin.bitbucket.io/bundle-adjusting-NeRF)