通过状态门控专家桥接手持与遥操作监督以用于接触丰富操作

手持数据采集系统（如Universal Manipulation Interface（UMI））能够在多样环境中实现可扩展数据采集，但仅捕获观测动作而非机器人控制器执行的期望动作。相比之下，遥操作直接捕获期望动作，但采集耗时过长。我们通过任务各阶段动作有效性的视角重新审视这一权衡。我们观察到手持轨迹在容错的自由空间阶段提供有效监督，但在接触敏感阶段缺乏动态可行性，此时以高刚度跟踪观测轨迹会产生巨大且不安全的接触力。我们研究这两种监督类型在接触丰富操作中的交互，发现结合手持数据与少量针对性遥操作演示训练策略是一种高效的混合策略。具体而言，我们并非遥操作整个任务，仅采集基础手持策略失败的任务片段的部分遥操作演示。然而，朴素混合手持与遥操作的阶段特定数据比仅用手持数据训练性能更差。为解决观测与期望监督间的错配，我们提出BRIDGE（通过门控专家的双模态模仿数据路由），一种基于扩散策略专家的混合模型，根据当前机器人状态在专家任务阶段头之间路由。值得注意的是，我们的方法能在接触敏感片段任务阶段特定地使用期望动作，并在三个接触丰富操作任务中将成功率较仅手持基线提升高达36.7%。