OpenMaskDINO3D：通过大语言模型进行3D分割推理

尽管感知系统近年来取得了显著进展，特别是在2D推理分割方面，但这些系统在执行视觉识别任务之前仍然依赖明确的人工指令或预定义类别来识别目标对象。此类系统已日趋成熟，展现出在二维语境中推理和理解隐含用户意图的能力，能够基于复杂且隐含的查询文本生成精确的分割掩码。然而，一个用于3D推理分割的类似框架和结构仍然缺失。本文提出OpenMaskDINO3D，一个用于全面3D理解与分割的大语言模型。OpenMaskDINO3D处理点云数据和文本提示以生成实例分割掩码，在许多3D任务中表现出色。通过引入SEG token和对象标识符，我们实现了高精度的3D分割掩码生成，使模型能够直接从自然语言指令中生成精确的点云分割结果。在大规模ScanNet数据集上的实验结果验证了OpenMaskDINO3D在各项任务中的有效性。