迈向通用自主核心技能学习：以运动控制为例的研究
机器人学
2020-08-28 v1 人工智能
机器学习
机器学习
摘要
现代强化学习（RL）算法有望直接从原始感官输入解决困难的电机控制问题。其吸引力部分在于它们可代表一类通用方法，即使在人类专家难以或代价高昂的情况下，也能以合理设定的奖励和最少先验知识学习出解决方案。然而，要让 RL 真正兑现此承诺，我们需要能跨广泛问题工作、且只需极少问题特定调整或工程的算法与学习设置。本文中，我们在运动控制领域研究这一通用性思想。我们开发了一个学习框架，可为包括双足、三足、四足和六足以及带轮变体在内的广泛腿式机器人学习复杂的运动行为。我们的学习框架依赖于数据高效的离策略多任务 RL 算法，以及一组在机器人间语义一致的少量奖励函数。为强调该方法的普遍适用性，我们在各实验中保持超参数设置与奖励定义不变，并仅依赖机载传感。针对九种不同类型机器人（包括一个真实四足机器人），我们展示了同一算法无需任何平台特定调整或额外学习设置仪表化即可快速学习多样且可复用的运动技能。
引用
@article{arxiv.2008.12228,
title = {Towards General and Autonomous Learning of Core Skills: A Case Study in Locomotion},
author = {Roland Hafner and Tim Hertweck and Philipp Klöppner and Michael Bloesch and Michael Neunert and Markus Wulfmeier and Saran Tunyasuvunakool and Nicolas Heess and Martin Riedmiller},
journal= {arXiv preprint arXiv:2008.12228},
year = {2020}
}