三维点云中的交互式物体分割
计算机视觉与模式识别
2023-01-24 v2
摘要
我们提出了一种用于三维实例分割的交互式方法，用户可在其中与深度学习模型迭代协作，直接在三维点云中分割物体。当前的三维实例分割方法通常以全监督方式训练，需要大量昂贵的训练标签，且对训练时未见的类别泛化能力不佳。少数工作尝试利用人机交互获取三维分割掩码。现有方法依赖二维图像域中的用户反馈。因此，用户不得不频繁在二维图像与三维表示间切换，且采用定制架构来融合多种输入模态。因而，与现有标准三维模型的集成并不直观。本工作的核心思想是让用户通过点击所需的三维感兴趣物体(或其背景)直接与三维点云交互，从而在开放世界设定中交互式分割场景。具体而言，我们的方法不需要来自任何目标域的训练数据，并能适应无可用的合适训练集的新环境。我们的系统基于用户反馈持续调整物体分割，并以最少的人力(每个物体少量点击)实现准确的稠密三维分割掩码。除其为大规模多样化三维数据集高效标注的潜力外，这种用户直接与三维环境交互的方法还赋能了AR/VR与人机交互中的新应用。
引用
@article{arxiv.2204.07183,
title = {Interactive Object Segmentation in 3D Point Clouds},
author = {Theodora Kontogianni and Ekin Celikkan and Siyu Tang and Konrad Schindler},
journal= {arXiv preprint arXiv:2204.07183},
year = {2023}
}
备注
2023 IEEE International Conference on Robotics and Automation (ICRA)