四人探戈：用于自动课程生成的多智能体自博弈
机器学习
2022-02-23 v1 人工智能
多智能体系统
摘要
我们致力于训练能解决广泛目标的通用强化学习智能体。高效训练此类智能体需要自动生成目标课程。这具有挑战性，因为需要 (a) 探索难度递增的目标，同时确保智能体 (b) 以样本高效方式接触多样化目标集合，且 (c) 不会灾难性地遗忘先前已解决的目标。我们提出课程自博弈（CuSP），一种自动化目标生成框架，借助四智能体多人博弈满足这些需求。我们将 PAIRED（Dennis 等，2020）中的非对称课程学习扩展为对称化博弈，谨慎平衡两个离策略学生学习器与两个最大化后悔教师之间的合作与竞争。CuSP 额外引入熵目标覆盖并考虑学生的非平稳性质，使我们能自动导出平衡渐进探索与抗灾难性利用的课程。我们证明该方法成功为一系列控制任务生成有效目标课程，在零样本测试时对新异分布外目标的泛化上优于其他方法。
引用
@article{arxiv.2202.10608,
title = {It Takes Four to Tango: Multiagent Selfplay for Automatic Curriculum Generation},
author = {Yuqing Du and Pieter Abbeel and Aditya Grover},
journal= {arXiv preprint arXiv:2202.10608},
year = {2022}
}