我在此能做什么？通过想象视觉可供性学习新技能

一个配备已学技能的通用机器人必须能在许多不同环境中执行许多任务。然而，向新设置的零样本泛化并非总是可行。当机器人遇到新环境或物体时，它可能需要微调某些先前学过的技能以适应这一变化。但关键的是，先前学过的行为与模型仍应适用于加速这种再学习。在本文中，我们旨在研究可能结果的生成模型如何使机器人学习可供性(affordance)的视觉表示，从而机器人能在新情境中采样潜在可能的结果，并进一步训练其策略以实现那些结果。实际上，先验数据被用于学习哪些类型的结果可能是可能的，使得当机器人遇到不熟悉的环境时，它可以从其模型中采样潜在结果，尝试达到它们，并由此更新其技能与结果模型。该方法，视觉运动可供性学习(VAL)，可用于训练基于原始图像输入运行的目标准则策略，并能通过我们提出的可供性导向探索方案快速学习操控新物体。我们展示 VAL 能利用先验数据解决真实世界任务，如抽屉开启、抓取以及在新场景中将物体放置，且在新场景中仅需五分钟在线经验。