封建图强化学习
机器学习
2024-12-04 v6
摘要
基于图的表示与消息传递模块化策略是强化学习（RL）中解决可组合控制问题的主流方法。然而，近期图深度学习文献表明，此类局部消息传递算子会造成信息瓶颈并阻碍全局协调。在需要高层规划的任务中，该问题尤为严重。本文提出一种名为封建图强化学习（FGRL）的新方法，通过分层强化学习与金字塔式消息传递架构应对上述挑战。具体而言，FGRL定义了一组策略层级，其中高层指令从层级顶端经由分层图结构向下传播。底层模仿物理系统的形态，而上层对应于更高阶的子模块。由此得到的智能体由一组策略委员会表征，其中某一层的动作为其下一层设定目标，从而实现可自然完成任务分解的分层决策结构。我们在图聚类问题与MuJoCo运动任务上评估所提框架；仿真结果表明FGRL优于相关基线。此外，对指令传播机制的深入分析证明，所引入的消息传递方案有利于学习分层决策策略。
引用
@article{arxiv.2304.05099,
title = {Feudal Graph Reinforcement Learning},
author = {Tommaso Marzi and Arshjot Khehra and Andrea Cini and Cesare Alippi},
journal= {arXiv preprint arXiv:2304.05099},
year = {2024}
}