KINet：面向机器人推 Manipulation 的无监督前向模型

以对象为中心的表示是前向预测的必要抽象。多数现有前向模型通过大量监督（如对象类别与边界框）学习该表示，尽管此类真值信息在现实中不易获取。为此，我们引入 KINet（Keypoint Interaction Network，关键点交互网络）——一种端到端无监督框架，基于关键点表示推理对象交互。利用视觉观测，我们的模型学习将对象与关键点坐标关联，并发现系统以一组关键点嵌入及其关系构成的图表示。随后其利用对比估计学习动作条件前向模型以预测未来关键点状态。通过在关键点空间中进行物理推理，我们的模型自动泛化至不同对象数量、新颖背景及未见对象几何的场景。实验证明了我们的模型在精确执行前向预测及为下游机器人推动操作任务学习可规划的对象中心表示上的有效性。