HDDLGym：使用 OpenAI Gym 研究基于 HDDL 定义的多智能体分层问题的工具

近年来，强化学习 (RL) 方法已使用 OpenAI Gym 等工具进行了广泛测试，尽管这些环境中的许多任务也可以从分层规划中受益。然而，目前缺乏一种能够将分层规划与 RL 无缝集成的工具。分层领域定义语言 (HDDL) 用于经典规划，引入了一种非常适合基于模型的 RL 的结构化方法来填补这一空白。为了实现这种集成，我们引入了 HDDLGym，这是一个基于 Python 的工具，能够从 HDDL 领域和问题中自动生成 OpenAI Gym 环境。HDDLGym 充当 RL 与分层规划之间的桥梁，支持多智能体场景并实现智能体间的协作规划。本文概述了 HDDLGym 的设计与实现，重点介绍了将 HDDL 与 Gym 接口集成以及应用 RL 策略以支持分层规划时所面临的挑战和设计选择。我们还提供了使用 HDDLGym 框架的详细说明和演示，包括如何处理来自国际规划竞赛的现有 HDDL 领域和问题，并以 Transport 领域为例。此外，我们为多智能体场景创建新 HDDL 领域提供了指导，并展示了 HDDLGym 在 Overcooked 领域中的实际应用。通过发挥 HDDL 和 Gym 的优势，HDDLGym 旨在成为研究分层规划中 RL 的宝贵工具，尤其是在多智能体背景下。