DexWild：面向野外机器人的灵巧人类互动
机器人学
2026-05-19 v2 人工智能
计算机视觉与模式识别
机器学习
系统与控制
系统与控制
摘要
大规模且多样化的机器人数据集正在成为实现灵巧操控策略泛化到新环境的有前景的路径，但获取此类数据集 presents many challenges（面临诸多挑战）。虽然遥操作提供高保真数据集，但其高昂成本限制了可扩展性。那么，有没有可能让人们像在日常生活中一样使用自己的手来收集数据呢？在DexWild中，一个多样化的数据收集团队使用自己的手在大量环境和物体上进行互动收集大量数据。为记录此数据，我们创建了DexWild-System，一个低成本、移动且易于使用的设备。DexWild学习框架在人类和机器人演示上进行联合训练，导致性能优于仅在单个数据集上训练的结果。这种组合结果为能够使用最小额外机器人专用数据，泛化到新环境、任务和本体的鲁棒机器人策略提供了支持。实验结果表明，DexWild显著提升了性能，在未见环境中实现68.5%的成功率——仅用机器人数据训练的策略近四倍——并实现了5.8倍的跨本体泛化。视频结果、代码库和说明请访问 https://dexwild.github.io
引用
@article{arxiv.2505.07813,
title = {DexWild: Dexterous Human Interactions for In-the-Wild Robot Policies},
author = {Tony Tao and Mohan Kumar Srirama and Jason Jingzhou Liu and Kenneth Shaw and Deepak Pathak},
journal= {arXiv preprint arXiv:2505.07813},
year = {2026}
}
备注
In RSS 2025. Website at https://dexwild.github.io