面向机器人操作的Sim-to-Real稠密物体描述子学习
机器人学
2023-04-19 v1 计算机视觉与模式识别
摘要
对于普适的机器人操作应用，解决以下问题至关重要：（a）基于视觉的操作任务要求机器人通过稠密物体描述子等丰富信息视觉地学习并理解物体；（b）机器人中的sim-to-real迁移旨在缩小仿真与真实数据间的差距。本文提出Sim-to-Real稠密物体网（SRDONs），一种稠密物体描述子，其不仅通过恰当表示理解物体，还将仿真与真实数据映射到具有像素一致性的统一特征空间。我们提出了一种用于来自不同场景与不同域的图像对的物体到物体匹配方法。该方法通过利用如GraspNet等公共数据集，减少了真实世界训练数据的投入。凭借sim-to-real物体表示一致性，我们的SRDONs可作为多种sim-to-real操作任务的构建模块。我们在实验中证明，预训练的SRDONs在零真实世界训练的情况下，显著提升了多种机器人任务在未见物体与未见视觉环境中的表现。
引用
@article{arxiv.2304.08703,
title = {Learning Sim-to-Real Dense Object Descriptors for Robotic Manipulation},
author = {Hoang-Giang Cao and Weihao Zeng and I-Chen Wu},
journal= {arXiv preprint arXiv:2304.08703},
year = {2023}
}
备注
Accepted to International Conference on Robotics and Automation (ICRA) 2023