UniDex：面向通用灵巧手控制的机器人基础套件
机器人学
2026-03-24 v1
摘要
由于获取真实机器人遥操作数据的高成本、手部 embodiment 的异构性以及控制维度的高维化，灵巧操作始终具有挑战性。我们提出UniDex，一个面向通用灵巧手控制的机器人基础套件，融合大规模机器人中心数据集与统一的视觉-语言-动作 (VLA) 策略，以及实用的人类数据捕获 setup，实现通用灵巧手控制。首先，我们构建UniDex-Dataset，来自以人类为中心的数据集中提取，涵盖8套不同自由度 (6--24 DoF) 的灵巧手的5万余条轨迹。为将人类数据转化为机器人可执行轨迹，我们采用人类在环式 retargeting 程序对指尖轨迹进行对齐，同时保留合理的手部-物体接触，在显式3D点云上进行操作，人手被掩蔽以缩小运动学和视觉差距。其次，我们引入功能-执行器对齐空间 (FAAS)，一种统一动作空间，将功能相似的执行器映射到共享坐标，从而实现跨手控制。基于FAAS作为动作参数化，我们训练了在UniDex-Dataset上预训练、在任务演示上微调的UniDex-VLA，一种3D VLA策略。此外，我们构建UniDex-Cap，一个简单可携的捕获 setup，用于记录同步的RGB-D流和人类手部姿态，将其转化为机器人可执行轨迹，实现人类-机器人数据共训练，减少对高成本机器人演示的依赖。在两个不同手部的挑战性工具使用任务上，UniDex-VLA实现了81%的平均任务进度，显著优于先前的VLA基线方法，同时展现出强大的空间感知、物体识别以及零样本跨手泛化能力。综上，UniDex-Dataset、UniDex-VLA与UniDex-Cap为通用灵巧操作提供了可扩展的基础套件。
关键词
引用
@article{arxiv.2603.22264,
title = {UniDex: A Robot Foundation Suite for Universal Dexterous Hand Control from Egocentric Human Videos},
author = {Gu Zhang and Qicheng Xu and Haozhe Zhang and Jianhan Ma and Long He and Yiming Bao and Zeyu Ping and Zhecheng Yuan and Chenhao Lu and Chengbo Yuan and Tianhai Liang and Xiaoyu Tian and Maanping Shao and Feihong Zhang and Mingyu Ding and Yang Gao and Hao Zhao and Hang Zhao and Huazhe Xu},
journal= {arXiv preprint arXiv:2603.22264},
year = {2026}
}
备注
Accepted by CVPR 2026