边缘端普适分布式深度强化学习：离散动作空间中拜占庭智能体的分析
机器人学
2020-08-19 v1 分布式、并行与集群计算
机器学习
摘要
下一代移动网络中对边缘计算的集成，正为无数信息物理系统带来低延迟、高带宽的普适连接。这将进一步助推嵌入边缘的各种自主系统中日益增长的智能，其中协作机器学习有潜力发挥重要作用。本文讨论了在多智能体分布式深度强化学习中，当存在拜占庭或故障智能体时可能出现的若干挑战。随着仿真到现实鸿沟被弥合，必须考虑故障或错误的概率。我们展示了错误的离散动作如何显著影响协作学习过程。具体而言，我们分析了存在一定比例以给定概率执行错误动作的智能体所产生的影响。我们研究了系统通过协作学习过程收敛至共同可用策略的能力，该过程基于每次策略更新需聚合的各智能体经验数量，以及经历故障的智能体错误动作的比例。我们的实验在仿真环境中使用 Atari 测试平台处理离散动作空间，并采用优势 actor-critic（A2C）进行分布式多智能体训练。
引用
@article{arxiv.2008.07863,
title = {Ubiquitous Distributed Deep Reinforcement Learning at the Edge: Analyzing Byzantine Agents in Discrete Action Spaces},
author = {Wenshuai Zhao and Jorge Peña Queralta and Li Qingqing and Tomi Westerlund},
journal= {arXiv preprint arXiv:2008.07863},
year = {2020}
}
备注
Accepted to the 11th International Conference on Emerging Ubiquitous Systems and Pervasive Networks (EUSPN 2020) , Elsevier (2020)