利用本地与远程计算机实现基于视觉机器人的实时强化学习
摘要
实时学习对于适应不断变化、非平稳环境的机器人智能体至关重要。机器人智能体的常见设置是同时拥有两台不同的计算机：与机器人相连的资源受限本地计算机，以及通过无线连接的高性能远程计算机。鉴于此种设置，尚不清楚学习系统的性能在多大程度上会受到资源限制的影响，以及如何高效利用无线连接的高性能计算机来补偿任何性能损失。在本文中，我们实现了一个称为远程-本地分布式（ReLoD）系统的实时学习系统，以在本地和远程计算机之间分配两种深度强化学习（RL）算法（Soft Actor-Critic (SAC) 和 Proximal Policy Optimization (PPO)）的计算。该系统在使用机械臂和移动机器人开发的两个基于视觉的控制任务上进行评估。我们的结果表明，SAC的性能在资源受限的本地计算机上严重下降。引人注目的是，当学习系统的所有计算都部署在远程工作站上时，SAC未能补偿性能损失，这表明若不仔细考量，使用高性能远程计算机可能并不会带来性能提升。然而，精心选择的SAC计算分配在两项任务上始终且大幅提升了其性能。另一方面，PPO的性能基本不受计算分配的影响。此外，当所有计算仅发生在高性能有线连接计算机上时，我们系统的性能与为单机使用而精心调优的现有系统相当。ReLoD是唯一公开可用的用于基于视觉任务的多机器人实时RL系统。
引用
@article{arxiv.2210.02317,
title = {Real-Time Reinforcement Learning for Vision-Based Robotics Utilizing Local and Remote Computers},
author = {Yan Wang and Gautham Vasan and A. Rupam Mahmood},
journal= {arXiv preprint arXiv:2210.02317},
year = {2023}
}
备注
Appears in Proceedings of the 2023 International Conference on Robotics and Automation (ICRA). Source code at https://github.com/rlai-lab/relod and companion video at https://youtu.be/7iZKryi1xSY