基于视觉与触觉深度预测学习的柔性物体富接触操作
机器人学
2022-05-11 v2
摘要
我们实现了仅用视觉难以控制的富接触柔性物体操作。在作为验证任务所选的解拉链任务中，夹爪抓取拉片，其遮挡了袋子状态（如变形方向与程度），使得仅通过视觉难以获取执行任务所需信息。此外，柔性布料袋状态在操作过程中持续变化，故机器人需动态响应变化。然而，针对所有袋状态的恰当机器人行为难以预先准备。为解决此问题，我们开发了一种通过触觉实时预测视觉来实现富接触柔性物体操作的模型。我们引入了用于提取图像特征的点式注意力机制、用于预测运动的softmax变换，以及用于提取触觉特征的卷积神经网络。使用真实机械臂的实验结果显示，我们的方法能在降低拉链负荷的同时实现响应袋子变形的运动。此外，与使用视觉 alone 相比，引入触觉将成功率从56.7%提升至93.3%，证明了方法的有效性与高性能。
引用
@article{arxiv.2112.06442,
title = {Contact-Rich Manipulation of a Flexible Object based on Deep Predictive Learning using Vision and Tactility},
author = {Hideyuki Ichiwara and Hiroshi Ito and Kenjiro Yamamoto and Hiroki Mori and Tetsuya Ogata},
journal= {arXiv preprint arXiv:2112.06442},
year = {2022}
}