点云至关重要：重新思考不同观测空间对机器人学习的影响
机器人学
2024-10-23 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
在机器人学习中，由于不同模态具有截然不同的特性，观测空间至关重要，并可能连同策略设计一起成为瓶颈。在本研究中，我们探讨了各种观测空间对机器人学习的影响，重点关注三种主要模态：RGB、RGB-D 和点云。我们引入了 OBSBench，这是一个包含两个模拟器和 125 个任务的基准测试，以及用于各种编码器和策略基线的标准化流程。在多样化的富接触操作任务上进行的大量实验揭示了一个显著趋势：基于点云的方法，即使是设计最简单的，也经常优于其 RGB 和 RGB-D 对应方法。这一趋势在从零开始训练和利用预训练两种场景中均保持成立。此外，我们的研究结果表明，点云观测通常能产生更好的策略性能，并在各种几何和视觉条件下具有显著更强的泛化能力。这些结果表明，3D 点云是复杂机器人任务的一种有价值的观测模态。我们还建议，结合外观和坐标信息可以提升点云方法的性能。我们希望我们的工作能为设计更具泛化性和鲁棒性的机器人模型提供有价值的见解和指导。代码可在 https://github.com/HaoyiZhu/PointCloudMatters 获取。
引用
@article{arxiv.2402.02500,
title = {Point Cloud Matters: Rethinking the Impact of Different Observation Spaces on Robot Learning},
author = {Haoyi Zhu and Yating Wang and Di Huang and Weicai Ye and Wanli Ouyang and Tong He},
journal= {arXiv preprint arXiv:2402.02500},
year = {2024}
}
备注
38th Conference on Neural Information Processing Systems (NeurIPS 2024) Track on Datasets and Benchmarks