中文

Tactile-WAM:具触觉非对称注意力的触觉感知世界动作模型

机器人学 2026-06-25 v1

摘要

世界动作模型(WAM)一并生成动作与预测未来,为机器人决策提供强大接口。然而,在富接触操作中,视觉上合理的未来在物理上可能不完整:插入、装配、搜索和重定向常依赖滑移、卡滞、接触法线或 RGB 中弱可见或隐藏的小对齐误差。自然解法是预测未来触觉状态,但我们识别出触觉污染这一失败模式:无约束触觉 token 注入迫使视觉动态模型吸收稀疏、局部、事件驱动的接触信号,从而退化视频与动作预测。为此,我们提出 Tactile-WAM,一种具触觉非对称注意力机制(TAAM)的触觉感知 WAM。TAAM 结合 VideoClean 掩码(阻断视频查询对触觉键/值 token 的访问,同时保留动作查询访问)与用于动作注意的触觉感知偏置。VideoClean 掩码保护视觉预测,同时使接触信息可用于动作生成;触觉感知偏置由预测触摸变化导出,并在去噪过程中调制动作对触觉 token 的注意力。在 ManiFeel 上,Tactile-WAM 总体平均成功率提升 38.9%,在富接触任务上提升 86%。

关键词

引用

@article{arxiv.2606.26663,
  title  = {Tactile-WAM: Touch-Aware World Action Model with Tactile Asymmetric Attention},
  author = {Siyu Wu and Linjing You and Junjie Zhu and Yaozu Liu and Changhao Zhang and Jian Liu and Weiqiang Wang and Qi Li and Jituo Li and Hengshuang Zhao},
  journal= {arXiv preprint arXiv:2606.26663},
  year   = {2026}
}

备注

Submitted to RSS2026 WorkShop Tactile for FM