通过生成式轨迹建模增强分层环境设计
机器学习
2024-02-16 v2 人工智能
摘要
无监督环境设计（UED）是一种自动生成训练环境课程的范式，使在这些环境中训练的智能体发展出通用能力，即取得良好零样本迁移性能。然而，现有 UED 方法主要关注于为开放式智能体训练随机生成环境。这在资源受限情形（如生成环境数量受限）下不切实际。本文中，我们引入一种资源约束下环境设计的分层 MDP 框架。其包含一个上层 RL 教师智能体，为下层学生智能体生成合适训练环境。该 RL 教师可借助已发现的环境结构，并通过观察学生策略的表示，在学生能力边界上生成环境。此外，为减少上层教师耗时的经验收集，我们利用生成建模近期进展合成轨迹数据集以训练教师智能体。我们提出的方法显著减少了智能体与环境间资源密集型交互，且跨多领域的实证实验展示了我们方法的有效性。
引用
@article{arxiv.2310.00301,
title = {Enhancing the Hierarchical Environment Design via Generative Trajectory Modeling},
author = {Dexun Li and Pradeep Varakantham},
journal= {arXiv preprint arXiv:2310.00301},
year = {2024}
}