基于深度强化学习的数据高效形态与行为协同适应
机器学习
2019-11-19 v1 人工智能
神经与进化计算
机器人学
机器学习
摘要
人类和动物能够快速学习新行为以解决新任务。然而，我们常常忽略他们也依赖于高度专门化的形态，该形态在数千年间与运动控制协同适应。尽管引人注目，在机器人中协同适应形态与行为的想法往往不可行，因为制造时间长，且需要为每种形态重新设计合适的控制器。在本文中，我们提出一种新方法，自动且高效地协同适应机器人形态及其控制器。我们的方法基于深度强化学习特别是软 actor-critic 算法的最新进展。我们方法的关键在于能够利用先前测试过的形态和行为来估计新候选形态的性能。因此，我们可以充分利用可用信息以做出更明智的决策，最终目标是实现更具数据效率的协同适应（即减少测试的形态和行为数量）。模拟实验表明，我们的方法需要大幅更少的设计原型来找到良好的形态-行为组合，使该方法特别适合未来现实世界中机器人设计的协同适应。
引用
@article{arxiv.1911.06832,
title = {Data-efficient Co-Adaptation of Morphology and Behaviour with Deep Reinforcement Learning},
author = {Kevin Sebastian Luck and Heni Ben Amor and Roberto Calandra},
journal= {arXiv preprint arXiv:1911.06832},
year = {2019}
}
备注
Accepted for the Conference on Robot Learning 2019