ClutterDexGrasp：用于杂乱场景中通用灵巧抓取的仿真到现实系统
机器人学
2025-09-05 v3
摘要
在杂乱场景中进行灵巧抓取面临着诸多挑战，包括多样化的对象几何形状、遮挡以及潜在碰撞。现有方法主要聚焦于单对象抓取或抓位预测，缺乏与交互的考虑，难以应对复杂的杂乱场景。近期的视觉语言动作模型提供了潜在解决方案，但需要大量现实 demonstrations，使其成本高昂且难以规模化。为此，我们重审仿真到现实迁移管线，开发关键技术，实现在实际场景中实现零样本部署，同时保持稳健的泛化能力。我们提出 ClutterDexGrasp，一个用于杂乱场景中闭环目标导向灵巧抓取的两阶段教师-学生框架。该框架特征包括在仿真中通过杂乱密度课程学习训练的教师策略，融合几何与空间嵌入场景表示，以及新颖的全面安全课程，实现通用、动态且安全的抓取行为。通过模仿学习，我们将教师的知识蒸馏到 operates on 部分点云观察的学生 3D 扩散策略 (DP3)。据我们所知，这是首个实现零样本仿真到现实闭环系统，用于杂乱场景中的目标导向灵巧抓取，展示了在多样化对象与布局下的稳健性能。更多细节与视频请访问 https://clutterdexgrasp.github.io/。
引用
@article{arxiv.2506.14317,
title = {ClutterDexGrasp: A Sim-to-Real System for General Dexterous Grasping in Cluttered Scenes},
author = {Zeyuan Chen and Qiyang Yan and Yuanpei Chen and Tianhao Wu and Jiyao Zhang and Zihan Ding and Jinzhou Li and Yaodong Yang and Hao Dong},
journal= {arXiv preprint arXiv:2506.14317},
year = {2025}
}
备注
Accepted at CoRL 2025