DextrAH-RGB：用于抓取各种对象的可指运动策略
机器人学
2025-02-04 v2
摘要
机器人抓取多样化物体的能力是最重要且最具挑战性的技能之一。大量先前工作受限于速度、通用性，或依赖深度图和物体位置。在本文中，我们引入DextrAH-RGB，一个可从RGB图像输入中执行可指运动臂-手抓取的系统。我们在仿真中通过强化学习训练一个特权的纺料引导策略（FGP），其作用在几何纺料控制器上以可指方式抓取多种各异的物体。我们随后在仿真中通过光子逼真的瓷砖渲染，将这种特权FGP蒸馏到基于RGB的FGP中。据我们了解，这是首个能够演示端到端RGB-based策略对复杂、动态、接触密集型任务（如可指抓取）实现稳健 sim2real 迁移的工作。DextrAH-RGB在与基于深度的可指抓取策略竞争的同时，能够在真实世界中对几何、纹理和照明条件未曾遇到的新颖物体进行泛化。我们提供了DextrAH-RGB抓取多样化未曾见过物体的视频，网址为 \url{https://dextrah-rgb.github.io/}。
引用
@article{arxiv.2412.01791,
title = {DextrAH-RGB: Visuomotor Policies to Grasp Anything with Dexterous Hands},
author = {Ritvik Singh and Arthur Allshire and Ankur Handa and Nathan Ratliff and Karl Van Wyk},
journal= {arXiv preprint arXiv:2412.01791},
year = {2025}
}