视觉灵巧操作：新颖复杂物体形状的手内重定向
机器人学
2023-11-27 v3 人工智能
计算机视觉与模式识别
机器学习
系统与控制
系统与控制
摘要
手内物体重定向是执行许多灵巧操作任务所必需的，例如在结构化程度较低的环境中使用工具，这仍超出当前机器人的能力范围。先前工作构建的重定向系统假定了以下一项或多项：仅重定向具有简单形状的特定物体、有限的重定向范围、缓慢或准静态操作、仅仿真结果、需要专用且昂贵的传感器套件，以及其他使系统难以实际部署的约束。我们提出了一种不基于这些假设的通用手内物体重定向控制器。它使用单个商用深度相机的读数，通过任意旋转实时动态重定向复杂且新颖的物体形状，中位重定向时间接近七秒。该控制器在仿真中使用强化学习训练，并在真实世界中对未用于训练的新物体形状进行评估，包括最具挑战性的场景：由朝下的手在空中握住物体，并在重定向过程中必须抵消重力。我们的硬件平台仅使用成本低于五千美元的开源组件。尽管我们展示了克服先前工作假设的能力，但在绝对性能提升方面仍有很大空间。例如，未用于训练的鸭形挑战性物体在 56% 的试验中掉落。当未掉落时，我们的控制器在 75% 的时间内将物体重定向至 0.4 弧度（23 度）以内。视频见：https://taochenshh.github.io/projects/visual-dexterity。
引用
@article{arxiv.2211.11744,
title = {Visual Dexterity: In-Hand Reorientation of Novel and Complex Object Shapes},
author = {Tao Chen and Megha Tippur and Siyang Wu and Vikash Kumar and Edward Adelson and Pulkit Agrawal},
journal= {arXiv preprint arXiv:2211.11744},
year = {2023}
}
备注
Published in Science Robotics: https://www.science.org/doi/10.1126/scirobotics.adc9244