RfD-Net：通过语义实例重建理解点云场景
计算机视觉与模式识别
2020-12-01 v1
摘要
从点云进行语义场景理解尤其具有挑战性，因为点仅反映了底层 3D 几何的稀疏集合。以往工作常将点云转换为规则网格（如体素或鸟瞰图像），并借助基于网格的卷积进行场景理解。在本工作中，我们提出 RfD-Net，直接从原始点云联合检测并重建稠密物体表面。我们的方法不将场景表示为规则网格，而是利用点云数据的稀疏性，聚焦于预测被识别为高物体性的形状。通过此设计，我们将实例重建解耦为全局物体定位与局部形状预测。这不仅减轻了从稀疏 3D 空间学习 2-D 流形表面的难度，每个物体提议中的点云传达了形状细节，支持隐式函数学习以重建任意高分辨率表面。我们的实验表明，实例检测与重建呈现互补效应，其中形状预测头对基于现代 3D 提议网络骨干的物体验测提升表现出一致效果。定性与定量评估进一步表明，我们的方法持续优于 SOTA，并在物体重建上提升超过 11 的网格 IoU。
引用
@article{arxiv.2011.14744,
title = {RfD-Net: Point Scene Understanding by Semantic Instance Reconstruction},
author = {Yinyu Nie and Ji Hou and Xiaoguang Han and Matthias Nießner},
journal= {arXiv preprint arXiv:2011.14744},
year = {2020}
}