MagiClaw：一种弥合人类演示与机器人部署差距的双用途视觉软夹爪
机器人学
2025-09-24 v1
摘要
将操作技能从人类演示迁移到机器人执行往往受到感知与形态学上的“域差距”阻碍。本文介绍 MagiClaw，一种旨在弥合此差距的多功能两指末端执行器。MagiClaw 既可作为手持工具用于直观的数据采集，也可作为机器人末端执行器用于策略部署，二者可互换使用，从而确保硬件的一致性与可靠性。每根手指包含一个带有嵌入式相机的软多面体网络（SPN），能够基于视觉估计六自由度（6-DoF）力与接触形变。本体感知数据与来自集成 iPhone 的外部环境感知数据相融合，后者提供 6D 位姿、RGB 视频和基于 LiDAR 的深度图。通过定制的 iOS 应用程序，MagiClaw 可流式传输同步的多模态数据，用于实时遥操作、离线策略学习以及通过混合现实界面的沉浸式控制。我们展示了这种统一的系统架构如何降低采集高保真、富接触数据集的门槛，并加速可泛化操作策略的开发。有关 iOS 应用的更多详情，请访问 https://apps.apple.com/cn/app/magiclaw/id6661033548。
引用
@article{arxiv.2509.19169,
title = {MagiClaw: A Dual-Use, Vision-Based Soft Gripper for Bridging the Human Demonstration to Robotic Deployment Gap},
author = {Tianyu Wu and Xudong Han and Haoran Sun and Zishang Zhang and Bangchao Huang and Chaoyang Song and Fang Wan},
journal= {arXiv preprint arXiv:2509.19169},
year = {2025}
}
备注
8 pages, 4 figures, accepted to Data@CoRL2025 Workshop