DexNDM：基于关节级神经动态模型的机械手旋转仿真到现实的桥接
机器人学
2025-10-10 v1 计算机视觉与模式识别
摘要
实现通用的手中物体旋转始终是机器人学中的重大挑战，主要由于将仿真策略迁移到现实世界的困难。复杂的接触丰富的动态导致“现实差距”，使先前的工作仅限于简单几何形状、受限物体尺寸和比例、受限手腕姿态或定制手的受限场景。我们通过一种新型框架来解决此仿真到现实的挑战，使单个在仿真中训练的策略能在现实世界中针对广泛的物体和条件进行泛化。我们方法的核心是一种关节级动态模型，通过有效地拟合有限的现实收集数据并相应地调整仿真策略的动作来弥合现实差距。该模型高度数据高效，并通过在关节上进行因式分解来实现对不同整体手 interaction 分布的泛化，将系统范围的影响压缩到低维变量中，并从各自的动态轮廓学习每个关节的演化，隐式地捕获这些净效应。我们采用一种完全自主的数据收集策略，最小的人类干预即可收集多样化的现实 interaction 数据。我们的完整管道演示了前所未有的泛化能力：单个策略成功旋转具有复杂形状（如动物）、高比例（最高达5.33）和小尺寸的具挑战性物体，同时处理各种手腕姿态和旋转轴。全面的现实评估和针对复杂任务的遥操作应用验证了我们方法的有效性和鲁棒性。网站：https://meowuu7.github.io/DexNDM/
引用
@article{arxiv.2510.08556,
title = {DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model},
author = {Xueyi Liu and He Wang and Li Yi},
journal= {arXiv preprint arXiv:2510.08556},
year = {2025}
}
备注
Project Website: https://meowuu7.github.io/DexNDM/ Video: https://youtu.be/tU2Mv8vWftU