Powderworld：一个通过丰富任务分布理解泛化的平台
人工智能
2023-10-17 v3 机器学习
摘要
强化学习的一大挑战是泛化到新任务的能力。然而，通用智能体需要一组丰富多样的任务进行训练。为此类任务设计“基础环境”颇为棘手——理想环境应支持一系列涌现现象、富有表现力的任务空间以及快速运行。为朝解决这一研究瓶颈迈出一步，本文提出 Powderworld，一个直接在 GPU 上运行的轻量且富有表现力的仿真环境。在 Powderworld 中，给出了两个激励性的挑战分布，一个用于世界建模，一个用于强化学习。每个分布都包含手工设计的测试任务以检验泛化能力。实验表明，增加环境复杂度可改善世界模型和某些强化学习智能体的泛化，但在高方差环境中可能抑制学习。Powderworld 旨在通过提供源自同一核心规则的多样任务来源，来支持泛化研究。
引用
@article{arxiv.2211.13051,
title = {Powderworld: A Platform for Understanding Generalization via Rich Task Distributions},
author = {Kevin Frans and Phillip Isola},
journal= {arXiv preprint arXiv:2211.13051},
year = {2023}
}