边动边想：基于并发控制的深度强化学习
机器学习
2020-04-28 v4 人工智能
机器人学
机器学习
摘要
我们研究这样一类强化学习设定：从策略中采样动作必须与受控系统的时间演化并发进行，例如机器人必须在仍执行前一动作时决定下一个动作。正如人或动物一样，机器人必须同时思考与移动，在前一动作完成之前就决定其下一动作。为了针对此类并发控制问题建立算法框架，我们从贝尔曼方程的连续时间表述出发，并以感知系统延迟的方式对其离散化。我们通过向现有基于价值的深度强化学习算法添加一个简单的架构扩展，来实现这类新的近似动态规划方法。我们在模拟基准任务以及一个大规模机器人抓取任务上评估了我们的方法，在该抓取任务中机器人必须“边动边想”。
引用
@article{arxiv.2004.06089,
title = {Thinking While Moving: Deep Reinforcement Learning with Concurrent Control},
author = {Ted Xiao and Eric Jang and Dmitry Kalashnikov and Sergey Levine and Julian Ibarz and Karol Hausman and Alexander Herzog},
journal= {arXiv preprint arXiv:2004.06089},
year = {2020}
}
备注
Published as a conference paper at ICLR 2020