RetrievalFuse：基于数据库的神经三维场景重建
计算机视觉与模式识别
2021-08-11 v2
摘要
大场景的三维重建由于解空间的高复杂性（尤其对生成式神经网络而言）而是一个具有挑战性的问题。与将完整生成过程编码进神经网络、在场景层面难以保持局部细节的传统生成式学习模型不同，我们提出了一种直接利用训练数据库中场景几何的新方法。首先，我们学习合成一个三维场景的初始估计，该估计通过从场景数据库中检索top-k体素块集合来构建。随后，这些候选通过基于注意力的细化被精炼为最终场景生成，该细化能有效从候选中选择最一致的一组几何并将其组合以创建输出场景，从而促进连贯结构与局部细节从训练场景几何的迁移。我们展示了基于数据库的神经场景重建在三维超分辨率和从稀疏点云进行表面重建任务上的表现，表明我们的方法能生成更连贯、准确的三维场景，相较最先进的场景重建在IoU上平均提升超过8%。
引用
@article{arxiv.2104.00024,
title = {RetrievalFuse: Neural 3D Scene Reconstruction with a Database},
author = {Yawar Siddiqui and Justus Thies and Fangchang Ma and Qi Shan and Matthias Nießner and Angela Dai},
journal= {arXiv preprint arXiv:2104.00024},
year = {2021}
}
备注
Project Page: https://nihalsid.github.io/retrieval-fuse/