让机器人感受你的触摸：面向具身镜像共振的视触觉皮层对齐
机器人学
2026-05-15 v1 机器学习
摘要
观察他人身体上的触摸可以在观察者身上引发相应的触觉感知，这种现象被称为镜像触觉，它支持共情和社会感知。这种视触觉共振被认为依赖于视觉皮层与体感皮层之间的结构对应，然而机器人系统缺乏实例化这一原理的计算框架。在这里，我们证明皮层对应可以被操作化以赋予机器人镜像触觉能力。我们引入了 Mirror Touch Net，它通过多级约束在视觉和触觉表示之间施加语义、分布和几何对齐，从而能够从 RGB 图像预测机器人手上 1,140 个 taxel 的毫米级触觉信号。流形分析表明，这些约束将视觉表示重塑为与触觉流形一致的几何结构，降低了跨模态映射的复杂性。将此对齐框架扩展到对人手的跨域观察，实现了对观察到的人类触摸的触觉预测和反射性响应。我们的结果将视触觉共振的神经原理与机器人感知联系起来，为预期性触摸和共情人机交互提供了一条可解释的途径。代码可在 https://github.com/fun0515/Mirror-Touch-Net 获取。
引用
@article{arxiv.2605.14571,
title = {Let Robots Feel Your Touch: Visuo-Tactile Cortical Alignment for Embodied Mirror Resonance},
author = {Tianfang Zhu and Ning An and Rui Wang and Jiasi Gao and Qingming Luo and Anan Li and Guyue Zhou},
journal= {arXiv preprint arXiv:2605.14571},
year = {2026}
}