exUMI：具有动作感知、任务无关触觉表征的可扩展机器人教学系统
机器人学
2025-09-19 v1
摘要
触觉感知机器人学习在数据收集和表征方面面临关键挑战，原因是数据稀缺和稀疏，以及现有系统中缺乏力反馈。为了解决这些限制，我们引入了一个在硬件和算法上都有创新的触觉机器人学习系统。我们提出了exUMI，一个可扩展的数据采集设备，它通过AR动作捕捉和旋转编码器增强了vanilla UMI的鲁棒本体感觉，模块化的视觉-触觉传感，以及自动校准，实现了100%的数据可用性。在高效收集超过100万帧触觉数据的基础上，我们提出了触觉预测预训练（TPP），一种通过动作感知的时间触觉预测的表征学习框架，捕获接触动力学并缓解触觉稀疏性。真实世界实验表明，TPP优于传统的触觉模仿学习。我们的工作通过协同设计的硬件和算法弥合了人类触觉直觉与机器人学习之间的差距，提供了开源资源以推进接触丰富的操作研究。项目页面：https://silicx.github.io/exUMI。
引用
@article{arxiv.2509.14688,
title = {exUMI: Extensible Robot Teaching System with Action-aware Task-agnostic Tactile Representation},
author = {Yue Xu and Litao Wei and Pengyu An and Qingyu Zhang and Yong-Lu Li},
journal= {arXiv preprint arXiv:2509.14688},
year = {2025}
}
备注
Accepted at CoRL 2025