面向物理顺序布料操作的视觉空间前瞻
机器人学
2021-07-22 v2 人工智能
计算机视觉与模式识别
摘要
机器人布料操作在家庭机器人、纺织、养老护理与手术中有应用。然而，现有布料操作技术针对特定任务设计，难以在不同但相关的任务间泛化。我们基于 Visual Foresight 框架学习布料动力学，可高效复用以单一目标条件策略完成不同顺序布料操作任务。我们扩展了早前关于视觉空间前瞻（VSF）的工作，该工作在域随机化 RGB 图像与深度图上同时且完全在仿真中学习视觉动力学。在该早期工作中，我们在仿真中将 VSF 与 5 种基线方法在多步布料抚平与折叠任务上评估，并在 da Vinci Research Kit（dVRK）手术机器人上于训练与测试时无任何演示的情况下评估。一项关键发现是深度感知显著提升性能：在仿真中 RGBD 数据相较纯 RGB 数据使布料折叠成功率提升 80%。本工作中，我们变动 VSF 的 4 个组成部分，包括数据生成、视觉动力学模型、代价函数与优化过程。结果表明，使用更长的、基于角的动作训练视觉动力学模型可将布料折叠效率提升 76%，并实现此前 VSF 无法以 90% 可靠性完成的物理顺序布料折叠任务。代码、数据、视频与补充材料见 https://sites.google.com/view/fabric-vsf/。
引用
@article{arxiv.2102.09754,
title = {VisuoSpatial Foresight for Physical Sequential Fabric Manipulation},
author = {Ryan Hoque and Daniel Seita and Ashwin Balakrishna and Aditya Ganapathi and Ajay Kumar Tanwani and Nawid Jamali and Katsu Yamane and Soshi Iba and Ken Goldberg},
journal= {arXiv preprint arXiv:2102.09754},
year = {2021}
}
备注
Journal extension of prior work on VSF to appear in Autonomous Robots S.I. 207. arXiv admin note: text overlap with arXiv:2003.09044