基于课程学习的多智能体强化学习对多模态环境不确定性的鲁棒性
机器学习
2023-10-16 v1
摘要
多智能体强化学习（MARL）在应对现实世界挑战中起着关键作用。然而，训练策略从仿真到现实世界的无缝迁移要求其对于各种环境不确定性具有鲁棒性。现有工作聚焦于在单一环境变量（即动作、状态或奖励）下寻找纳什均衡或不确定性下的最优策略。这是因为多智能体系统本身高度复杂且非平稳。然而，在现实世界情境中，不确定性可能同时出现在多个环境变量中。本工作是首个形式化 MARL 中多模态环境不确定性鲁棒性这一广义问题的工作。为此，我们提出一种基于课程学习技术的面向多模态不确定性的通用鲁棒训练方法。我们同时处理两种不同的环境不确定性，并在协作与竞争 MARL 环境中给出了广泛结果，表明我们的方法达到了最先进（state-of-the-art）的鲁棒性水平。
引用
@article{arxiv.2310.08746,
title = {Robustness to Multi-Modal Environment Uncertainty in MARL using Curriculum Learning},
author = {Aakriti Agrawal and Rohith Aralikatti and Yanchao Sun and Furong Huang},
journal= {arXiv preprint arXiv:2310.08746},
year = {2023}
}