用于规划机器人运动的深度视觉预见

将机器人学习扩展至众多技能与环境的一个关键挑战在于消除对人类监督的需求，使得机器人能够自行收集数据并提升自身性能，而不受请求人类反馈所需成本的制约。基于模型的强化学习有望使智能体学会预测其自身动作的效果，从而为广泛的任务与环境提供灵活的预测模型，而无需详细的人类监督。我们开发了一种将深度动作条件视频预测模型与模型预测控制相结合的方法，该方法完全使用无标签训练数据。我们的方法不需要标定过的相机、仪器化的训练设置，也不需要精确的传感与驱动。我们的结果表明，该方法使真实机器人能够执行非抓握式操作——即推物体——并且能够处理训练中未见过的新颖物体。