面向通用技能基元的基于目标条件的端到端视觉运动控制

视觉运动控制（VMC）是从原始图像实现推或拾放等基本操作任务的有效手段。将 VMC 条件化于期望目标状态是实现通用技能基元的一种有前景的方式。然而，常见的条件化方案要么依赖任务特定的微调——例如使用一次性模仿学习（IL）——要么使用场景动力学前向模型的采样方法即模型预测控制（MPC），使得可部署性与规划时域受到严重限制。本文提出一种条件化方案，通过端到端地学习控制器及其条件化来避免这些缺陷。我们的模型直接基于机器人运动的动态图像表示与到给定目标观测的距离来预测复杂动作序列。与相关工作的不同在于，这使得我们的方法能从原始图像观测高效执行复杂操作任务，而无需预定义控制基元或测试时演示。我们报告了在任务成功率上相对于代表性 MPC 与 IL 基线的显著提升。我们还展示了我们的模型在具有视觉噪声、杂乱场景与未见物体几何形状的困难未见任务中的泛化能力。