交互式点云分割中实例的尺度不平衡问题

交互式点云分割已成为理解 3D 场景的关键任务，用户可通过点击等简单交互方式引导分割模型，从而显著减少为特定情景和新类别定制模型所需的工作量。然而，在交互式分割领域，实例的含义不同于实例分割，因为用户可能希望分割尺度差异巨大的 thing 和 stuff 类别的实例。现有方法聚焦于 thing 类别，忽略了 stuff 类别的分割以及由尺度不平衡引起的困难。为弥合这一差距，我们提出了 ClickFormer，一款创新的交互式点云分割模型，能够准确地分割 thing 和 stuff 类别的实例。我们提出了查询增强模块，通过全局查询采样策略来增强点击查询，从而在不同实例尺度之间保持一致的性能。此外，我们在查询-体素变换器中采用全局注意力，以缓解生成误报的风险，并通过多项网络结构改进进一步提升模型的分割性能。实验表明，ClickFormer 在室内和户外数据集上超越了现有的交互式点云分割方法，提供更精确的分割结果且所需用户点击更少，适用于开放世界场景。