基于结构信息原理的分层决策

分层强化学习（HRL）是一种在多个抽象层级管理任务复杂度并加速长时程智能体探索的有前景的方法。然而，分层策略的有效性在很大程度上依赖于先验知识以及关于技能定义和任务分解的人工假设。在本文中，我们提出了一种新颖的基于结构信息原理的框架，即 SIDM，用于单智能体和多智能体场景中的分层决策。我们工作的核心是利用决策过程中嵌入的结构信息，通过环境抽象自适应且动态地发现和学习分层策略。具体而言，我们提出了一种抽象机制，处理历史状态-动作轨迹以构建状态和动作的抽象表示。我们定义并优化了有向结构熵，这是一种量化抽象状态之间转移动力学不确定性的度量，以发现能够捕捉 RL 环境中关键转移模式的技能。基于这些发现，我们开发了用于单智能体场景的基于技能的学习方法和用于多智能体场景的基于角色的协作方法，两者均能灵活集成各种底层算法以增强性能。在具有挑战性的基准上的广泛评估表明，我们的框架显著且一致地优于 SOTA 基线，以平均奖励、收敛时间步和标准差衡量，分别在策略学习的有效性、效率和稳定性上提升了高达 32.70%、64.86% 和 88.26%。