智能体需求的层次化安排

我们提出了一种新方法，用于学习层次化抽象，优先处理多个相互竞争的目标，从而实现更好的全局预期奖励。我们的方法采用具有多个标量输出的次级奖励智能体，每个输出与不同的抽象层级相关联。传统智能体随后以层次化方式学习以最大化这些输出，条件化于对前一层级的 maximization。我们推导了一个对这些标量值和全局奖励进行排序的方程，引导形成反映需求层次结构的目标。在Pendulum v1环境上的实验结果表明，本方法的性能优于基线实现。我们实现了最先进的成绩。