FBI：利用动态视觉-触觉捷径策略学习灵巧手内操作
机器人学
2025-08-21 v1
摘要
灵巧手内操作由于复杂的接触动力学和部分可观测性，一直是机器人学中的长期挑战。虽然人类在此类任务中协同运用视觉和触觉，但机器人方法往往优先考虑单一模态，从而限制了适应性。本文介绍FBI（Flow Before Imitation），一种视觉-触觉模仿学习框架，通过运动动力学动态融合触觉交互与视觉观察。与先前的静态融合方法不同，FBI 通过一个动力学感知的潜在模型，在触觉信号与物体运动之间建立了因果联系。FBI 采用基于Transformer的交互模块，将光流衍生的触觉特征与视觉输入融合，并训练一个一步扩散策略以实现实时执行。大量实验表明，在两个定制的手内操作任务和三个标准灵巧操作任务上，所提出的方法在仿真和现实世界中均优于基线方法。代码、模型及更多结果可在网站 https://sites.google.com/view/dex-fbi 获取。
引用
@article{arxiv.2508.14441,
title = {FBI: Learning Dexterous In-hand Manipulation with Dynamic Visuotactile Shortcut Policy},
author = {Yijin Chen and Wenqiang Xu and Zhenjun Yu and Tutian Tang and Yutong Li and Siqiong Yao and Cewu Lu},
journal= {arXiv preprint arXiv:2508.14441},
year = {2025}
}