面向机器人操作的端到端可供性学习

在交互环境中学习操控三维物体一直是强化学习（RL）中的一个具有挑战性的问题。特别是，很难训练出一种能够泛化到具有不同语义类别、多样形状几何与多功能性的物体的策略。近年来，视觉可供性（visual affordance）技术因能提供具有有效可操作语义的以物体为中心的信息先验而展现出广阔前景。由此，可通过知晓如何在门把手上施力来训练出开门的有效策略。然而，学习可供性往往需要人工定义的动作基元，这限制了适用任务的范围。在本研究中，我们利用视觉可供性，通过使用 RL 训练过程中生成的接触信息来预测感兴趣的接触图。这种接触预测过程进而引出了一个能够泛化到不同类型操控任务的端到端可供性学习框架。令人惊讶的是，该框架的有效性即便在多阶段与多智能体场景下也成立。我们在八类操控任务上测试了我们的方法。结果表明，我们的方法在成功率上大幅优于包括基于视觉的可供性方法与 RL 方法在内的基线算法。演示视频见 https://sites.google.com/view/rlafford/。