基于语义超点树网络的三维场景实例分割
计算机视觉与模式识别
2021-08-18 v1
摘要
三维场景中的实例分割是场景理解诸多应用的基础。然而，由于数据不规则性以及实例数量的不确定性等复合因素，该任务仍具挑战性。现有最优方法主要依赖一种通用流程：先学习在语义和实例层面上具有判别力的逐点特征，再通过独立的逐点分组步骤来提出物体实例。尽管前景可期，它们仍存在不足：(1) 第二步未受实例分割主目标监督；(2) 其逐点特征学习与分组在处理数据不规则性时效果较弱，可能导致分割碎片化。为解决这些问题，本文提出一种端到端的语义超点树网络（SSTNet）方案，从场景点中直接提出物体实例。SSTNet 的关键在于一种中间表示——语义超点树（SST），它基于学习到的超点语义特征构建，并在中间树节点处被遍历与分裂以提出物体实例。我们还在 SSTNet 中设计了一个称为 CliqueNet 的精炼模块，用于剪枝可能被错误分组进实例提议中的超点。在 ScanNet 和 S3DIS 基准上的实验表明了本方法的有效性。提交之时，SSTNet 在 ScanNet (V2) 排行榜上位居榜首，mAP 比第二名方法高 2%。基于 PyTorch 的源代码发布于 https://github.com/Gorilla-Lab-SCUT/SSTNet。
引用
@article{arxiv.2108.07478,
title = {Instance Segmentation in 3D Scenes using Semantic Superpoint Tree Networks},
author = {Zhihao Liang and Zhihao Li and Songcen Xu and Mingkui Tan and Kui Jia},
journal= {arXiv preprint arXiv:2108.07478},
year = {2021}
}
备注
Accepted by ICCV2021