面向可泛化神经辐射场的几何感知重建与融合精炼渲染
计算机视觉与模式识别
2024-04-29 v1
摘要
可泛化 NeRF 旨在为未见场景合成新视角。常见做法包括构建基于方差的代价体进行几何重建，以及编码 3D 描述符用于解码新视角。然而，现有方法在挑战性条件下由于几何不准确、次优描述符和解码策略而表现出有限的泛化能力。我们逐一解决这些问题。首先，我们发现基于方差的代价体存在失败模式，因为对应于同一点的像素特征在不同视角间可能由于遮挡或反射而不一致。我们引入了一种自适应代价聚合 (ACA) 方法来放大一致像素对的贡献并抑制不一致像素对。与先前仅将 2D 特征融合到描述符中的方法不同，我们引入了一种空间-视图聚合器 (SVA)，通过空间和视图间交互将 3D 上下文纳入描述符。在解码描述符时，我们观察到两种现有的解码策略在不同领域各有优势，它们是互补的。我们提出了一种一致性感知融合 (CAF) 策略，以利用两者的优势。我们将上述 ACA、SVA 和 CAF 整合到一个由粗到细的框架中，称为几何感知重建与融合精炼渲染 (GeFu)。GeFu 在多个数据集上达到了最先进的性能。代码可在 https://github.com/TQTQliu/GeFu 获取。
引用
@article{arxiv.2404.17528,
title = {Geometry-aware Reconstruction and Fusion-refined Rendering for Generalizable Neural Radiance Fields},
author = {Tianqi Liu and Xinyi Ye and Min Shi and Zihao Huang and Zhiyu Pan and Zhan Peng and Zhiguo Cao},
journal= {arXiv preprint arXiv:2404.17528},
year = {2024}
}
备注
Accepted by CVPR 2024. Project page: https://gefucvpr24.github.io