将 3D 实例表示为 1D 核
计算机视觉与模式识别
2022-07-19 v2
摘要
我们引入一种 3D 实例表示，称为实例核（instance kernels），其中实例由编码 3D 实例的语义、位置和形状信息的一维向量表示。我们展示了实例核能够通过简单地在整个场景上扫描核来实现便捷的掩码推断，从而避免标准 3D 实例分割流程中对候选框或启发式聚类算法的重度依赖。实例核的思想受动态卷积在 2D/3D 实例分割中近期成功的启发。然而，我们发现由于点云数据的无序与非结构化特性，表示 3D 实例并非易事，例如，糟糕的实例定位会显著劣化实例表示。为此，我们构建了一种新颖的 3D 实例编码范式。首先，将潜在实例质心定位为候选。然后，设计一种候选合并方案，以同时聚合重复候选并收集合并质心周围的上下文以形成实例核。一旦获得实例核，即可通过权重以实例核为条件的动态卷积重建实例掩码。整个流程由动态核网络（DKNet）实例化。结果表明，DKNet 在 ScanNetV2 和 S3DIS 数据集上均以更好的实例定位优于当前最优方法。代码可用：https://github.com/W1zheng/DKNet。
引用
@article{arxiv.2207.07372,
title = {3D Instances as 1D Kernels},
author = {Yizheng Wu and Min Shi and Shuaiyuan Du and Hao Lu and Zhiguo Cao and Weicai Zhong},
journal= {arXiv preprint arXiv:2207.07372},
year = {2022}
}
备注
Appearing in ECCV, 2022