simPLE：一种在仿真中学习用于精确抓取、定位、重抓与放置物体的视觉触觉方法
机器人学
2023-07-26 v1 计算机视觉与模式识别
机器学习
摘要
现有机器人系统普遍存在通用性与精确性之间的明显张力。已部署的机器人操作解决方案往往落入“一个机器人解决单一任务”的范式，缺乏精确的通用性，即在不牺牲精度的情况下解决多种任务的能力。本文探索用于精确且通用的拾放操作的解决方案。在精确拾放（即套件组装）中，机器人将非结构化的物体排布转换为有序排布，从而便于进一步操作。我们提出 simPLE（simulation to Pick Localize and PLacE）作为精确拾放的解决方案。simPLE 仅给定物体 CAD 模型且无先验经验，即可学习精确抓取、重抓和放置物体。我们开发了三个主要组件：任务感知抓取、视觉触觉感知和重抓规划。任务感知抓取计算稳定、可观测且利于放置的抓取可行性。视觉触觉感知模型依赖通过监督学习将真实观测与一组仿真观测进行匹配。最后，我们通过在手到手重抓图上求解最短路径问题来计算所需的机器人运动。在配备视觉触觉传感双臂机器人上，我们展示了 simPLE 对 15 种不同物体的拾放。这些物体形状各异，simPLE 对 6 种物体以超过 90% 的时间成功放入具有 1mm 间隙的有序排布，对 11 种物体超过 80% 的时间成功放入。视频见 http://mcube.mit.edu/research/simPLE.html 。
引用
@article{arxiv.2307.13133,
title = {simPLE: a visuotactile method learned in simulation to precisely pick, localize, regrasp, and place objects},
author = {Maria Bauza and Antonia Bronars and Yifan Hou and Ian Taylor and Nikhil Chavan-Dafle and Alberto Rodriguez},
journal= {arXiv preprint arXiv:2307.13133},
year = {2023}
}
备注
33 pages, 6 figures, 2 tables, submitted to Science Robotics