一种面向协作多智能体深度强化学习的隐私保护分布式训练框架
机器学习
2021-10-01 v1 人工智能
摘要
深度强化学习（DRL）在训练过程中有时需要大量数据才能收敛，且在某些情况下，智能体的每个动作都可能产生遗憾。这一障碍自然促使不同的数据集或环境拥有者进行合作，共享其知识并更高效地训练各自的智能体。然而，若直接合并来自不同拥有者的原始数据，则会引发隐私问题。为解决该问题，我们提出了一种兼具全局神经网络与局部神经网络的新深度神经网络（DNN）架构及分布式训练框架。我们允许全局权重由所有协作智能体更新，而局部权重仅由其所属智能体更新。如此，我们希望全局权重能在协作方之间共享通用知识，而局部神经网络可保留专门特性并确保智能体与其特定环境兼容。实验表明，该框架能有效帮助相同或相似环境中的智能体在训练过程中协作，并获得更高的收敛速率与更优的性能。
引用
@article{arxiv.2109.14998,
title = {A Privacy-preserving Distributed Training Framework for Cooperative Multi-agent Deep Reinforcement Learning},
author = {Yimin Shi},
journal= {arXiv preprint arXiv:2109.14998},
year = {2021}
}