MINE：基于 NeRF 的连续深度 MPI 用于新视角合成
计算机视觉与模式识别
2021-08-02 v3 图形学
机器学习
摘要
在本文中，我们提出 MINE，通过单幅图像的密集三维重建来执行新视角合成与深度估计。我们的方法通过引入神经辐射场（NeRF）对多平面图像（MPI）进行连续深度推广。给定单幅图像作为输入，MINE 在任意深度值处预测一幅四通道图像（RGB 与体密度），以联合重建相机视锥并填充被遮挡的内容。重建并修复的视锥随后可使用可微渲染轻松渲染为新的 RGB 或深度视角。在 RealEstate10K、KITTI 和 Flowers Light Fields 上的大量实验表明，我们的 MINE 在新视角合成上大幅优于最先进方法。我们在 iBims-1 和 NYU-v2 上也取得了具有竞争力的深度估计结果，且无需带标注的深度监督。我们的源代码可在 https://github.com/vincentfung13/MINE 获取。
引用
@article{arxiv.2103.14910,
title = {MINE: Towards Continuous Depth MPI with NeRF for Novel View Synthesis},
author = {Jiaxin Li and Zijian Feng and Qi She and Henghui Ding and Changhu Wang and Gim Hee Lee},
journal= {arXiv preprint arXiv:2103.14910},
year = {2021}
}
备注
ICCV 2021. Main paper and supplementary materials