ConsistentNeRF:通过 3D 一致性增强神经辐射场以实现稀疏视角合成
计算机视觉与模式识别
2023-05-19 v1
摘要
神经辐射场(NeRF)已展现出利用密集视角图像的卓越 3D 重建能力。然而,在稀疏视角设置下其性能显著恶化。我们观察到,在此类情况下学习不同视角间像素的 3D 一致性对提升重建质量至关重要。本文提出 ConsistentNeRF,一种利用深度信息来正则化像素间多视角与单视角 3D 一致性的方法。具体而言,ConsistentNeRF 采用深度导出的几何信息与深度不变损失,聚焦于呈现 3D 对应并保持一致深度关系的像素。在近期代表性工作上的大量实验表明,我们的方法能大幅增强稀疏视角条件下的模型性能,在 DTU、NeRF Synthetic 和 LLFF 等各类基准上,相比原始基线在 PSNR 上提升达 94%、SSIM 上 76%、LPIPS 上 31%。
引用
@article{arxiv.2305.11031,
title = {ConsistentNeRF: Enhancing Neural Radiance Fields with 3D Consistency for Sparse View Synthesis},
author = {Shoukang Hu and Kaichen Zhou and Kaiyu Li and Longhui Yu and Lanqing Hong and Tianyang Hu and Zhenguo Li and Gim Hee Lee and Ziwei Liu},
journal= {arXiv preprint arXiv:2305.11031},
year = {2023}
}
备注
https://github.com/skhu101/ConsistentNeRF