触觉超越像素：机器人操控的多感官触觉表示
机器人学
2025-06-18 v1
摘要
我们提出了Sparsh-X，是首个覆盖四种触觉模态（图像、音频、运动和压力）的多感官触觉表示。该模型在约100万次使用Digit 360传感器收集的接触丰富互动数据上进行训练，Sparsh-X 在不同时间和空间尺度上捕获补充的触觉信号。通过利用自监督学习，Sparsh-X 将这些模态融合到统一的表示中，捕获有助于机器人操控任务的物理属性。我们研究如何有效地将真实世界的触觉表示集成到imitation learning和sim训练策略的触觉适应中，显示Sparsh-X相对于仅使用触觉图像的端到端模型在策略成功率上提升63%，在从触觉恢复物体状态方面鲁棒性提升90%。最后，我们对Sparsh-X进行基准测试，以推断物理属性，如物体-动作识别、材料-数量估计和力量估计。Sparsh-X在对物理属性进行特征描述方面的准确率比端到端方法提高48%，展示了多感官预训练捕获精细操控所必需特征的优势。
引用
@article{arxiv.2506.14754,
title = {Tactile Beyond Pixels: Multisensory Touch Representations for Robot Manipulation},
author = {Carolina Higuera and Akash Sharma and Taosha Fan and Chaithanya Krishna Bodduluri and Byron Boots and Michael Kaess and Mike Lambeta and Tingfan Wu and Zixi Liu and Francois Robert Hogan and Mustafa Mukadam},
journal= {arXiv preprint arXiv:2506.14754},
year = {2025}
}