SG-NN：用于 RGB-D 扫描自监督场景补全的稀疏生成神经网络
计算机视觉与模式识别
2020-03-26 v2
摘要
我们提出一种新方法，通过推断未观测到的场景几何，将部分且含噪的 RGB-D 扫描转换为高质量的 3D 场景重建。我们的方法完全自监督，因此可仅在真实世界的不完整扫描上训练。为实现自监督，我们从给定的（不完整）3D 扫描中移除若干帧以使其更不完整；随后通过关联同一扫描的两个不完整层级并在从未被观测的区域上施加掩码来表述自监督。通过对大型训练集的泛化，我们可在从未见任何完整几何的 3D 扫描的情况下预测 3D 场景补全。结合一种新的 3D 稀疏生成神经网络架构，我们的方法能够以由粗到细的层次化方式预测高度细节化的表面，以 2cm 分辨率生成 3D 场景，分辨率超过现有 SOTA 方法一倍以上，并在重建质量上大幅优于它们。
引用
@article{arxiv.1912.00036,
title = {SG-NN: Sparse Generative Neural Networks for Self-Supervised Scene Completion of RGB-D Scans},
author = {Angela Dai and Christian Diller and Matthias Nießner},
journal= {arXiv preprint arXiv:1912.00036},
year = {2020}
}
备注
CVPR 2020; Video: https://youtu.be/rN6D3QmMNuU