PinPoint3D：基于少量点击的细粒度3D部件分割
计算机视觉与模式识别
2025-10-01 v1
摘要
细粒度3D部件分割对于使具身AI系统执行复杂操作任务（例如与物体的特定功能组件交互）至关重要。然而，现有的交互式分割方法大多局限于粗粒度的实例级目标，而非交互式方法在处理稀疏的真实世界扫描数据时面临困难，且严重缺乏标注数据。为了解决这些局限性，我们提出了PinPoint3D，一种用于细粒度、多粒度3D分割的新型交互式框架，仅需少量用户点点击即可生成精确的部件级掩码。我们工作的一个关键组件是开发了一种新的3D数据合成流水线，用于创建带有密集部件标注的大规模场景级数据集，从而克服了阻碍该领域发展的关键瓶颈。通过全面的实验和用户研究，我们证明了该方法显著优于现有方法，在首次点击设置下每个物体部件的平均交并比约为55.8%，仅需少量额外点击即可超过71.3%的IoU。与当前最先进的基线方法相比，PinPoint3D在IoU和精确度上最高提升了16%，突显了其在具有挑战性的稀疏点云上的有效性与高效率。我们的工作代表了在复杂3D环境中实现更细致、更精确的机器感知与交互的重要一步。
引用
@article{arxiv.2509.25970,
title = {PinPoint3D: Fine-Grained 3D Part Segmentation from a Few Clicks},
author = {Bojun Zhang and Hangjian Ye and Hao Zheng and Jianzheng Huang and Zhengyu Lin and Zhenhong Guo and Feng Zheng},
journal= {arXiv preprint arXiv:2509.25970},
year = {2025}
}
备注
15 pages, 12 figures, conference