面向多智能体强化学习的记忆与遗忘经验回放
机器学习
2022-09-05 v3 人工智能
最优化与控制
机器学习
摘要
我们将记忆与遗忘经验回放（ReF-ER）算法扩展至多智能体强化学习（MARL）。ReF-ER已被证明在从OpenAI Gym到复杂流体流等连续控制问题中优于最先进的算法。在MARL中，智能体间的依赖关系被纳入状态值估计器，环境动态通过ReF-ER使用的重要性权重建模。在协作环境中，我们发现当使用个体奖励估计价值并忽略其他动作对转移映射的影响时性能最佳。我们在斯坦福智能系统实验室（SISL）环境上基准测试了ReF-ER MARL的性能。我们发现，在ReF-ER MARL中使用单一前馈神经网络作为策略与值函数，优于依赖复杂神经网络架构的最先进算法。
引用
@article{arxiv.2203.13319,
title = {Remember and Forget Experience Replay for Multi-Agent Reinforcement Learning},
author = {Pascal Weber and Daniel Wälchli and Mustafa Zeqiri and Petros Koumoutsakos},
journal= {arXiv preprint arXiv:2203.13319},
year = {2022}
}