多机器人场景下联邦强化学习的去中心化方法
机器人学
2022-09-09 v2 人工智能
摘要
联邦学习（FL）允许跨多个计算设备协作聚合所学信息并在它们之间共享，从而解决隐私问题和巨大带宽需求。FL 技术通常使用中央服务器或云来聚合从设备接收到的模型。此类集中式 FL 技术存在固有缺陷，如中央节点故障和信道带宽瓶颈。当 FL 与作为设备的互联机器人结合使用时，中央控制实体的故障可能导致混乱局面。本文描述了一种基于移动智能体的范式，以在多机器人场景中去中心化 FL。利用广受欢迎的免费开源机器人模拟器 Webots 和移动智能体平台 Tartarus，我们提出了一种在一组互联机器人中去中心化联邦学习的方法。通过在不同互联计算系统上运行 Webots，我们展示了移动智能体如何执行去中心化联邦强化学习（dFRL）的任务。使用 Q-learning 和 SARSA 聚合其相应 Q 表所开展实验的结果，显示了在机器人领域使用去中心化 FL 的可行性。由于所提工作可与其他学习算法及真实机器人结合使用，它可作为在多机器人场景中并发研究使用异构学习算法的去中心化 FL 的重要工具。
引用
@article{arxiv.2207.09372,
title = {On Decentralizing Federated Reinforcement Learning in Multi-Robot Scenarios},
author = {Jayprakash S. Nair and Divya D. Kulkarni and Ajitem Joshi and Sruthy Suresh},
journal= {arXiv preprint arXiv:2207.09372},
year = {2022}
}
备注
Submitted to SEEDA 2022. This arxiv is a preprint and NOT the final version