面向灵活抓取的自适应视觉-触觉融合与预测力度注意力
机器人学
2025-07-22 v2
摘要
有效利用多感知数据对机器人在 diverse 任务上进行泛化至关重要。然而，这些模态的异构性使得融合具有挑战性。现有方法提出了获取综合融合特征的策略，但常常忽视每个模态在不同操控阶段需要不同的注意力水平这一事实。为此，我们提出了一种力导注意力融合模块，能够在没有人工标注的情况下自适应调整视觉和触觉特征的权重。我们还引入了一个自监督的未来力量预测辅助任务，以强化触觉模态，改善数据不平衡，并鼓励正确的调整。我们的方法在实际实验中在三个细粒度、接触密集任务上实现了平均93%的成功率。进一步的分析显示，我们的策略在不同的操控阶段对每个模态进行了恰当的注意力调整。视频可在 https://adaptac-dex.github.io/ 查看。
引用
@article{arxiv.2505.13982,
title = {Adaptive Visuo-Tactile Fusion with Predictive Force Attention for Dexterous Manipulation},
author = {Jinzhou Li and Tianhao Wu and Jiyao Zhang and Zeyuan Chen and Haotian Jin and Mingdong Wu and Yujun Shen and Yaodong Yang and Hao Dong},
journal= {arXiv preprint arXiv:2505.13982},
year = {2025}
}