RealDex：迈向机器人灵巧手的人形抓取
机器人学
2024-12-10 v2 人工智能
计算机视觉与模式识别
摘要
在本文中，我们介绍了 RealDex，这是一个开创性的数据集，捕捉了融入人类行为模式的真实灵巧手抓取动作，并丰富了多视角和多模态视觉数据。利用遥操作系统，我们实现了人机手部姿态的实时无缝同步。这类人形动作集合对于训练灵巧手更自然、更精确地模仿人类运动至关重要。RealDex 在推动人形机器人在现实场景中的自动感知、认知和操作方面具有巨大前景。此外，我们引入了一种前沿的灵巧抓取动作生成框架，该框架符合人类经验，并通过有效利用多模态大语言模型增强了现实世界的适用性。大量实验表明，我们的方法在 RealDex 和其他开放数据集上表现优异。完整的数据集和代码将在本工作发表后提供。
引用
@article{arxiv.2402.13853,
title = {RealDex: Towards Human-like Grasping for Robotic Dexterous Hand},
author = {Yumeng Liu and Yaxun Yang and Youzhuo Wang and Xiaofei Wu and Jiamin Wang and Yichen Yao and Sören Schwertfeger and Sibei Yang and Wenping Wang and Jingyi Yu and Xuming He and Yuexin Ma},
journal= {arXiv preprint arXiv:2402.13853},
year = {2024}
}
备注
Project Page: https://4dvlab.github.io/RealDex_page/