面向分布式多智能体强化学习的编码方法
机器学习
2021-01-08 v1
摘要
本文旨在缓解多智能体强化学习（MARL）问题中同步分布式学习的掉队者效应。由于计算节点减速或故障、通信瓶颈等多种系统扰动的存在，掉队者在分布式学习系统中频繁出现。为解决此问题，我们提出了一种编码分布式学习框架，该框架在存在掉队者的情况下加速 MARL 算法的训练，同时保持与集中式方法相同的精度。作为示例，我们开发并评估了多智能体深度确定性策略梯度（MADDPG）算法的编码分布式版本。我们还研究了不同的编码方案，包括最大距离可分（MDS）码、随机稀疏码、基于复制的码和正则低密度奇偶校验（LDPC）码。在多个多机器人问题中的仿真展示了所提框架的良好性能。
引用
@article{arxiv.2101.02308,
title = {Coding for Distributed Multi-Agent Reinforcement Learning},
author = {Baoqian Wang and Junfei Xie and Nikolay Atanasov},
journal= {arXiv preprint arXiv:2101.02308},
year = {2021}
}