基于深度 Q-Learning 的机械臂控制 3D 仿真
机器人学
2016-12-14 v2 计算机视觉与模式识别
机器学习
摘要
机械臂控制的近期趋势已转向端到端解决方案，使用深度强化学习直接从原始传感器数据中学习控制器，而不是依赖手工制作的模块化流水线。然而，状态空间的高维性通常意味着通过真实世界实验生成足够的训练数据是不切实际的。作为一种替代方案，我们提出在仿真中学习机器人控制器，并随后将其迁移到真实机器人上。基于深度 Q 网络（deep Q-networks）近期的成功，我们提出了一种使用 3D 仿真在没有任何先验知识的情况下训练 7 自由度机械臂执行控制任务的方法。该控制器仅接受环境图像作为输入，并在一系列初始配置下输出用于定位和抓取方块任务的电机动作。为了促进高效学习，设计了一个带有中间奖励的结构化奖励函数。我们还展示了策略直接迁移到真实机器人上的初步结果，且无需任何进一步的训练。
引用
@article{arxiv.1609.03759,
title = {3D Simulation for Robot Arm Control with Deep Q-Learning},
author = {Stephen James and Edward Johns},
journal= {arXiv preprint arXiv:1609.03759},
year = {2016}
}
备注
In NIPS 2016 Workshop: Deep Learning for Action and Interaction (https://sites.google.com/site/nips16interaction/)