视觉预见：基于模型的深度强化学习用于基于视觉的机器人控制
机器人学
2018-12-04 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
深度强化学习（RL）算法能从原始感官输入中学习复杂的机器人技能，但尚未达到深度学习方法在有监督领域中展现出的那种广泛泛化性与适用性。我们提出一种适用于真实世界机器人任务（如机器人操纵）且能有效泛化至前所未见任务与物体的深度 RL 方法。在这些设定中，真实奖励信号通常不可得，因此我们提出一种自监督基于模型的方法，其中预测模型学习直接从原始感官读数（如相机图像）预测未来。在测试时，我们探索三种不同的目标指定方法：指定像素（用户通过选择图像中特定像素及对应目标位置来指定所需物体操纵任务）、目标图像（以图像指定所需目标状态）以及图像分类器（定义目标状态空间）。我们的深度预测模型使用由机器人与数百个物体自主且持续交互收集的数据训练，无需人类监督。我们证明视觉 MPC 能泛化至前所未见的物体——刚性与可变形物体——并使用同一模型解决一系列用户定义的物体操纵任务。
引用
@article{arxiv.1812.00568,
title = {Visual Foresight: Model-Based Deep Reinforcement Learning for Vision-Based Robotic Control},
author = {Frederik Ebert and Chelsea Finn and Sudeep Dasari and Annie Xie and Alex Lee and Sergey Levine},
journal= {arXiv preprint arXiv:1812.00568},
year = {2018}
}