面向多步多任务布料操作的视觉空间前瞻
机器人学
2021-02-19 v3 人工智能
计算机视觉与模式识别
摘要
机器人布料操作在家用机器人、纺织、养老护理和手术中有应用。然而，现有布料操作技术针对特定任务设计，难以在不同但相关任务间泛化。我们扩展Visual Foresight框架以学习布料动力学，可通过单一目标条件策略高效复用以完成不同布料操作任务。我们提出VisuoSpatial Foresight（VSF），基于先前工作，在域随机化的RGB图像与深度图上同时且完全在仿真中学习视觉动力学。我们在仿真中与5种基线方法对比，并在da Vinci Research Kit（dVRK）手术机器人上（训练与测试时均无演示）对VSF进行多步布料抚平与折叠任务的实验评估。此外，我们发现利用深度显著提升了性能。RGBD数据相较纯RGB数据使布料折叠成功率提升80%。代码、数据、视频及补充材料见 https://sites.google.com/view/fabric-vsf/。
引用
@article{arxiv.2003.09044,
title = {VisuoSpatial Foresight for Multi-Step, Multi-Task Fabric Manipulation},
author = {Ryan Hoque and Daniel Seita and Ashwin Balakrishna and Aditya Ganapathi and Ajay Kumar Tanwani and Nawid Jamali and Katsu Yamane and Soshi Iba and Ken Goldberg},
journal= {arXiv preprint arXiv:2003.09044},
year = {2021}
}
备注
Robotics: Science and Systems (RSS) 2020