奖励机层次结构
机器学习
2023-06-06 v2 人工智能
摘要
奖励机（RMs）是一种近期的形式化方法，通过有限状态机表示强化学习任务的奖励函数，其边利用高层事件编码任务的子目标。RMs 的结构能够将任务分解为更简单且可独立求解的子任务，从而有助于处理长程和/或稀疏奖励任务。我们提出了一种进一步抽象子任务结构的形式化方法，赋予 RM 调用其他 RM 的能力，从而构成奖励机层次结构（HRM）。我们利用选项（options）框架将每次对 RM 的调用视为可独立求解的子任务来处理 HRM，并描述了一种基于课程学习的方法，从智能体观测到的轨迹中学习 HRM。我们的实验表明，利用手工设计的 HRM 比扁平 HRM 收敛更快，并且在等效扁平表示不可行的情况下学习 HRM 是可行的。
引用
@article{arxiv.2205.15752,
title = {Hierarchies of Reward Machines},
author = {Daniel Furelos-Blanco and Mark Law and Anders Jonsson and Krysia Broda and Alessandra Russo},
journal= {arXiv preprint arXiv:2205.15752},
year = {2023}
}
备注
Preprint accepted for publication to the 40th International Conference on Machine Learning (ICML-23)