SimpleRecon：无需3D卷积的3D重建
计算机视觉与模式识别
2022-09-01 v1
摘要
传统上，从已定位图像进行3D室内场景重建分为两个阶段：逐图像深度估计，随后进行深度融合与表面重建。近来，出现了一系列直接在最终3D体素特征空间中进行重建的方法。尽管这些方法已展现出令人印象深刻的重建结果，但它们依赖于昂贵的3D卷积层，限制了其在资源受限环境中的应用。在本工作中，我们反而回归传统路线，并展示了如何专注于高质量多视角深度预测，利用简单的现成深度融合实现高度准确的3D重建。我们提出了一种简单的先进多视角深度估计器，其主要贡献有两点：1）一个精心设计的2D CNN，它利用强图像先验 alongside 一个平面扫描特征体（plane-sweep feature volume）与几何损失，结合 2）将关键帧与几何元数据整合进代价体（cost volume），从而实现有依据的深度平面打分。我们的方法在ScanNet和7-Scenes上取得了远超当前SOTA的深度估计结果，并在3D重建上达到接近或更好的表现，同时仍支持在线实时低内存重建。代码、模型和结果可在 https://nianticlabs.github.io/simplerecon 获取。
引用
@article{arxiv.2208.14743,
title = {SimpleRecon: 3D Reconstruction Without 3D Convolutions},
author = {Mohamed Sayed and John Gibson and Jamie Watson and Victor Prisacariu and Michael Firman and Clément Godard},
journal= {arXiv preprint arXiv:2208.14743},
year = {2022}
}
备注
ECCV2022 version with improved timings. 14 pages + 5 pages of references