通过3D高斯溅射(3DGS)提升5D苹果姿态估计的注释
计算机视觉与模式识别
2025-12-24 v1 机器人学
摘要
orchard中的自动化任务因环境变化大和遮挡问题而具有挑战性,其中一个挑战是苹果姿态估计,关键点(如黄果)常常被遮挡。最近发展的姿态估计方法不再依赖这些关键点,但仍需它们进行注释,这使得注释过程具有挑战性和耗时。鉴于上述遮挡问题,同一 fruit在不同图像中的注释可能存在冲突和缺失。可以采用新型3D重建方法来简化注释并扩大数据集。我们提出了一条新型管道,包括3D高斯溅射重建orchard场景、简化注释、将注释自动投影到图像中,以及训练和评估姿态估计方法。通过我们的管道,仅需105次手动注释即可获得28,191个训练标签,减少了99.6%。实验结果表明,使用遮挡率的水果标签进行训练效果最佳,在原始图像上获得中性F1分为0.927,在渲染图像上为0.970。调整训练数据集大小对模型性能(F1分数和姿态估计精度)影响较小。发现最不遮挡的水果位置估计最佳,随着遮挡加剧,估计效果恶化。还发现所测试的姿态估计方法无法正确学习苹果的方向估计。
引用
@article{arxiv.2512.20148,
title = {Enhancing annotations for 5D apple pose estimation through 3D Gaussian Splatting (3DGS)},
author = {Robert van de Ven and Trim Bresilla and Bram Nelissen and Ard Nieuwenhuizen and Eldert J. van Henten and Gert Kootstra},
journal= {arXiv preprint arXiv:2512.20148},
year = {2025}
}
备注
33 pages, excluding appendices. 17 figures