关节式移动机器人分散控制策略的分布式学习
摘要
最先进的分布式强化学习算法依赖于多个独立智能体，这些智能体在并行环境中同时学习，并异步更新一个共同的共享策略。此外，分散控制架构（如 CPGs）可协调关节式机器人的空间分布部分以实现系统级目标。在本工作中，我们通过在严苛环境中学习关节式机器人运动的分散控制策略，探究分布式学习与分散控制之间的关系。为此，我们提出一种方法，利用异步优势 actor-critic（A3C）算法的结构，为在单一关节式机器人上学习分散控制策略提供自然途径。我们的主要贡献表明，A3C 算法中的个体智能体可由机器人身体中独立控制的部分来定义，从而在单一机器人上实现分布式学习，以利于高效的硬件实现。我们展示了蛇形与六足机器人于非结构化地形上的闭环运动结果，分别采用离线学习与在线学习所得的分散控制器。本文为 2018 年 10 月投稿至 IEEE Transactions in Robotics (T-RO) 期刊、并于 2019 年 5 月被接受为常规论文的预印本。
引用
@article{arxiv.1901.08537,
title = {Distributed Learning of Decentralized Control Policies for Articulated Mobile Robots},
author = {Guillaume Sartoretti and William Paivine and Yunfei Shi and Yue Wu and Howie Choset},
journal= {arXiv preprint arXiv:1901.08537},
year = {2021}
}
备注
\c{opyright} 20XX IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works