DexSim2Real$^{2}$：为精确关节物体灵巧操作构建显式世界模型
机器人学
2025-07-15 v2
摘要
关节物体在日常生活中无处不在。本文提出了 DexSim2Real，一个用于目标条件关节物体操作的新颖框架。我们框架的核心是通过主动交互构建未见关节物体的显式世界模型，这使得基于采样的模型预测控制能够规划实现不同目标的轨迹，而无需演示或强化学习。它首先使用在自监督交互数据或人类操作视频上训练的可供性网络来预测交互。在真实机器人上执行交互以移动物体部件后，我们提出了一种基于 3D AIGC 的新颖建模管线，从多帧观测中在仿真环境里构建物体的数字孪生。对于灵巧手，我们利用本征抓取来降低动作维度，从而实现更高效的轨迹搜索。实验验证了该框架在使用吸盘夹爪、二指夹爪和两个灵巧手进行精确操作时的有效性。显式世界模型的泛化能力也使得诸如使用工具进行操作等高级操作策略成为可能。
引用
@article{arxiv.2409.08750,
title = {DexSim2Real$^{2}$: Building Explicit World Model for Precise Articulated Object Dexterous Manipulation},
author = {Taoran Jiang and Yixuan Guan and Liqian Ma and Jing Xu and Jiaojiao Meng and Weihang Chen and Zecui Zeng and Lusong Li and Dan Wu and Rui Chen},
journal= {arXiv preprint arXiv:2409.08750},
year = {2025}
}
备注
Project Webpage: https://jiangtaoran.github.io/dexsim2real2web/ . arXiv admin note: text overlap with arXiv:2302.10693