Grasp Anything：将教师增强型策略梯度学习与实例分割结合以抓取任意物体
机器人学
2024-03-18 v1 人工智能
机器学习
摘要
从杂乱环境中进行交互式抓取，类似于人类的灵活性，是机器人学习中的一个长期存在的问题。挑战源于视觉感知的复杂性、对精确运动技能的需求以及两者之间复杂的相互作用。在本工作中，我们提出了一种名为 Teacher-Augmented Policy Gradient (TAPG) 的新型双阶段学习框架，将强化学习与策略蒸馏相结合。经过训练的教师策略基于物体姿态信息掌握运动控制，然后 TAPG 基于物体分割实现引导且自适应的传感器-运动策略学习。我们通过使用 Segment Anything Model 实现从仿真到真实机器人的零样本迁移，实现可提示的物体分割。我们的训练策略在仿真和真实环境中能够基于人类可理解的提示灵巧地抓取各种物体。此外，我们展示了对新物体的鲁棒性零样本迁移。实验视频已收录于 \url{https://maltemosbach.github.io/grasp_anything}。
引用
@article{arxiv.2403.10187,
title = {Grasp Anything: Combining Teacher-Augmented Policy Gradient Learning with Instance Segmentation to Grasp Arbitrary Objects},
author = {Malte Mosbach and Sven Behnke},
journal= {arXiv preprint arXiv:2403.10187},
year = {2024}
}