Box2Mask：利用边界框的弱监督三维语义实例分割
计算机视觉与模式识别
2023-11-01 v3
摘要
当前的三维分割方法严重依赖大规模点云数据集，而此类数据集的标注以费力著称。少数尝试旨在规避对密集逐点标注的需求。在本工作中，我们关注弱监督三维语义实例分割。核心思想是利用更易且更快标注的三维边界框标签。事实上，我们展示了仅使用边界框标签即可训练密集分割模型。我们方法 \name{} 的核心在于一个受经典 Hough 投票启发的深度模型，其直接对边界框参数投票，以及一种专为边界框投票定制的聚类方法。这超越了常用的中心投票，后者无法充分利用边界框标注。在 ScanNet 测试集上，我们的弱监督模型在其他弱监督方法中取得领先性能（+18 mAP@50）。值得注意的是，其 mAP@50 分数也达到了当前全监督模型的 97%。为进一步说明我们工作的实用性，我们在最近发布的仅以三维边界框标注的 ARKitScenes 数据集上训练 Box2Mask，并首次展示了引人注目的三维实例分割掩码。
引用
@article{arxiv.2206.01203,
title = {Box2Mask: Weakly Supervised 3D Semantic Instance Segmentation Using Bounding Boxes},
author = {Julian Chibane and Francis Engelmann and Tuan Anh Tran and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2206.01203},
year = {2023}
}
备注
Project page: https://virtualhumans.mpi-inf.mpg.de/box2mask/