使用真实-仿真循环的联合 3D 点云分割：从面板到树木与树枝
机器人学
2025-03-10 v1 计算机视觉与模式识别
定量方法
摘要
现代果园以结构化的行种植，并具有明显的面板划分以改善管理。从面板到树木与树枝 (Panel to Tree and Branch, P2TB) 的点云准确高效的联合分割对于机器人操作至关重要。然而，当前的分割方法大多集中于单实例分割，并依赖一系列深度网络来执行联合任务。这种策略阻碍了利用数据中嵌入的层次信息，导致误差积累以及标注和计算成本增加，这限制了其在实际应用中的可扩展性。在本研究中，我们提出了一种新颖的方法，该方法结合了用于训练数据生成的 Real2Sim L-TreeGen 和专为 P2TB 任务设计的联合模型 (J-P2TB)。在生成的仿真数据集上训练的 J-P2TB 模型，通过零样本学习被用于真实世界面板点云的联合分割。与代表性方法相比，我们的模型在大多数分割指标上均优于它们，同时使用的可学习参数减少了 40%。这一 Sim2Real 结果突出了 L-TreeGen 在模型训练中的有效性以及 J-P2TB 在联合分割中的性能，证明了其在真实应用中具有很强的准确性、效率和泛化能力。这些改进不仅将极大地有益于自动化果园作业机器人的发展，还将推动数字孪生技术。
引用
@article{arxiv.2503.05630,
title = {Joint 3D Point Cloud Segmentation using Real-Sim Loop: From Panels to Trees and Branches},
author = {Tian Qiu and Ruiming Du and Nikolai Spine and Lailiang Cheng and Yu Jiang},
journal= {arXiv preprint arXiv:2503.05630},
year = {2025}
}
备注
Accepted by ICRA 2025