KOROL：用于操控的Koopman算子滚动学习可视化目标特征

学习夹具操控技能由于对象与多指手之间的相互作用所包含的复杂非线性动力学， presents significant challenges。Koopman算子已成为在线性框架内建模此类非线性动力学的稳健方法。然而，当前方法依赖于对运行时对地面真相(ground-truth)对象状态的访问，使其不适用于基于视觉的实际应用。不同于依赖隐式学习视觉特征以进行控制的图像到动作策略，我们使用Koopman算子来学习机器人操控场景中关键的可视化可解释对象特征。我们使用由特征提取器预测的对象特征构建Koopman算子，并利用其对系统状态进行自动滚动推进。我们训练特征提取器将场景信息嵌入对象特征，从而实现对机器人轨迹的准确传递。我们在模拟和真实世界机器人任务上评估了该方法，结果显示它在模型基准模仿学习NDP和图像到动作扩散策略中分别分别优于了1.08×和1.16×。结果表明，该方法在学习特征的同时保持了任务成功率，并扩展了无需地面真相对象状态的实际操控应用。项目视频和代码均可在：https://github.com/hychen-naza/KOROL 访问。