Dexora:面向高自由度双臂灵巧操作的开源 VLA
机器人学
2026-05-19 v1
摘要
视觉-语言-动作模型近期已成为具身 AI 的核心方向,但现有系统仅限于双夹爪控制或单臂灵巧手操作。低维夹爪控制通常可用更简单的方法处理,而高维灵巧手控制则极大地受益于端到端 VLA 学习。在本工作中,我们介绍了 Dexora,这是首个原生面向双臂、双手高自由度操作的开源 VLA 系统。我们设计了一个混合遥操作流水线,将粗略手臂运动学(通过定制外骨骼背包捕捉)与精细手指运动(通过 Apple Vision Pro 进行无标记手部追踪)解耦,并同时驱动物理双臂双手平台和完全相同的 MuJoCo 数字孪生。利用该接口,我们构建了大型训练语料库:一个本体匹配的合成语料库(10 万条仿真轨迹,650 万帧)和一个包含 1 万次遥操作回合(292 万帧)的真实世界数据集。为缓解遥操作演示中的噪声,我们提出了一种数据质量感知训练方案:离线判别器为扩散 Transformer 策略训练提供片段级权重,从而降低低质量演示的权重。实验表明,Dexora 在基础和灵巧基准上均优于具竞争力的 VLA 基线(例如,平均灵巧成功率为 66.7% 对 51.7%),在基础任务上达到 90% 的成功率,并展现出鲁棒的分布外和跨本体泛化能力。消融实验证实了真实数据和判别器对灵巧性的重要性。
引用
@article{arxiv.2605.18722,
title = {Dexora: Open-source VLA for High-DoF Bimanual Dexterity},
author = {Zongzheng Zhang and Jingrui Pang and Zhuo Yang and Kun Li and Minwen Liao and Saining Zhang and Guoxuan Chi and Jinbang Guo and Huan-ang Gao and Modi Shi and Dongyun Ge and Yao Mu and Jiayuan Gu and Rui Chen and Hao Dong and Huazhe Xu and Li Yi and Yixin Zhu and Hang Zhao and Pengwei Wang and Shanghang Zhang and Guocai Yao and Jianyu Chen and Hongyang Li and Hao Zhao},
journal= {arXiv preprint arXiv:2605.18722},
year = {2026}
}
备注
Accpeted by ICRA 2026