CVRecon：重新思考神经重建中的三维几何特征学习
计算机视觉与模式识别
2023-09-18 v3 人工智能
机器学习
机器人学
摘要
近年来，基于位姿图像序列的神经重建取得了显著进展。然而，由于缺乏深度信息，现有的基于体素的技术只是将物体表面的二维图像特征沿整条相机射线进行复制。我们认为这种复制在空白和被遮挡空间中引入了噪声，给生成高质量三维几何带来挑战。受传统多视角立体方法启发，我们提出了一种端到端的三维神经重建框架 CVRecon，旨在利用代价体（cost volume）中丰富的几何嵌入来促进三维几何特征学习。此外，我们提出射线上下文补偿代价体（Ray-contextual Compensated Cost Volume, RCCV），一种新颖的三维几何特征表示，可编码视角依赖信息并具有更好的完整性与鲁棒性。通过综合实验，我们证明了我们的方法在各种指标上显著提升了重建质量，并恢复了三维几何清晰的细节。我们大量的消融研究为有效三维几何特征学习方案的发展提供了见解。项目页面：https://cvrecon.ziyue.cool/
引用
@article{arxiv.2304.14633,
title = {CVRecon: Rethinking 3D Geometric Feature Learning For Neural Reconstruction},
author = {Ziyue Feng and Liang Yang and Pengsheng Guo and Bing Li},
journal= {arXiv preprint arXiv:2304.14633},
year = {2023}
}
备注
Accepted by ICCV 2023