顺流而行：Koopman行为模型作为 visuo-motor 灵巧操作的隐式规划器

近年来，由于采用扩散模型和变换器等表达力强大的策略类方法，学习从演示中获取复杂的视觉-运动操作技能取得了显著进展。然而，这些设计选择需要大量数据和计算资源，在多指节灵巧操作的上下文中仍远非可靠。根本问题在于，这些方法将技能建模为反应式映射，依赖固定时域动作分块来缓解抖动，导致在时间连贯性与反应性之间形成僵化的权衡。本文引入统一行为模型（Unified Behavioral Models, UBMs），一种学习将灵巧技能表示为耦合动力系统的框架，捕捉环境视觉特征（视觉流）与机器人自身感知状态（动作流）如何共同演化的动态。通过捕捉这种行为动态，UBMs可确保按需保证时间连贯性，而非依赖启发式平均。在实际操作中，我们提出Koopman-UBM，作为UBMs的首个实例，利用Koopman算子理论有效学习统一表示，在该表示中，潜在视觉与自感特征的联合流动由结构化的线性系统控制。我们展示，Koopman-UBM可被视为一个隐式规划器：给定初始条件，即可在整个技能时域内计算出期望的机器人行为及其视觉特征的 resulting flow。为实现反应性，我们引入一种在线重规划策略，使模型充当自身的运行时监视器，当预测视觉流与观察到的视觉流发生偏离时自动触发重规划。在七个仿真任务和两个真实世界任务中，我们展示，K-UBM在性能上与最先进的基线相当或更好，同时实现更快的推理、平滑的执行、对遮挡的鲁棒性以及灵活的重规划能力。