面向局部控制的布料操控的视觉-触觉可供性
机器人学
2022-12-13 v1 机器学习
系统与控制
系统与控制
摘要
现实世界中的布料常处于皱缩、自遮挡或自身折叠状态，使得角点等关键区域无法直接抓取，从而导致操控困难。我们提出了一种利用视觉与触觉感知、通过抓取边缘并滑动来展开布料的系统。借此，机器人能够抓取两个相邻角点，从而实现折叠或悬挂等后续操控任务。作为该系统的组成部分，我们开发了触觉感知网络，用于分类边缘是否被抓取并估计边缘位姿。我们使用边缘分类网络来监督一个视觉-触觉边缘抓取可供性网络，该网络能以 90% 的成功率抓取边缘。一旦抓取到边缘，我们展示了机器人可利用触觉位姿估计/控制在实时下沿布料滑动至相邻角点。视频见 http://nehasunil.com/visuotactile/visuotactile.html
引用
@article{arxiv.2212.05108,
title = {Visuotactile Affordances for Cloth Manipulation with Local Control},
author = {Neha Sunil and Shaoxiong Wang and Yu She and Edward Adelson and Alberto Rodriguez},
journal= {arXiv preprint arXiv:2212.05108},
year = {2022}
}
备注
Accepted at CoRL 2022. Project website: http://nehasunil.com/visuotactile/visuotactile.html