Real-to-Sim 抓取：重新思考仿真与真实世界之间的鸿沟
机器人学
2024-10-10 v1
摘要
对于 6 自由度抓取检测，仿真数据可以用于训练更强大的模型，但面临仿真与真实世界之间鸿沟的挑战。以往的工作通过仿真到真实的方式来弥合这一鸿沟。然而，这种方式会显式或隐式地迫使仿真数据适应噪声的真实数据，在抓取检测器训练期间，这会损害抓取学习。本文提出了一个名为 R2SGrasp 的实时到仿真框架进行 6 自由度抓取检测，其关键洞察是以一种真实到仿真的方式来弥合这一鸿沟，直接通过推理时的实时到仿真适应来绕过抓取检测器训练中的相机噪声。为实现这种真实到仿真适应，R2SGrasp 设计了 Real-to-Sim 数据修复器(R2SRepairer) 以在数据层面缓解真实深度图的相机噪声，设计了 Real-to-Sim 特征增强器(R2SEnhancer) 以在特征层面利用精确的仿真几何原型增强真实特征。为了赋予该框架泛化能力，我们构建了一个大规模仿真数据集以经济成本进行训练，该数据集包括 64,000 张 RGB-D 图像，包含 1440 万个抓取标注。充分的实验表明，R2SGrasp 强大且我们的真实到仿真观点有效。实际实验进一步显示 R2SGrasp 在实际世界中的泛化能力卓越。项目页面可在 https://isee-laboratory.github.io/R2SGrasp 查看。
引用
@article{arxiv.2410.06521,
title = {Real-to-Sim Grasp: Rethinking the Gap between Simulation and Real World in Grasp Detection},
author = {Jia-Feng Cai and Zibo Chen and Xiao-Ming Wu and Jian-Jian Jiang and Yi-Lin Wei and Wei-Shi Zheng},
journal= {arXiv preprint arXiv:2410.06521},
year = {2024}
}