部分覆盖下的基于模型的悲观离线强化学习
机器学习
2023-01-11 v4 人工智能
机器学习
摘要
我们研究基于模型的离线强化学习，采用通用函数逼近，且不对离线数据分布作完全覆盖假设。我们提出一种名为约束悲观策略优化（Constrained Pessimistic Policy Optimization, CPPO）的算法，该算法利用通用函数类，并对模型类施加约束以编码悲观性。在真实模型属于我们的函数类（即函数类中的可实现性）的假设下，CPPO具有PAC保证，且离线数据仅提供部分覆盖，即它可以学到与任何被离线数据覆盖的策略相竞争的策略。我们随后证明该算法框架可应用于许多专门的马尔可夫决策过程，其中额外的结构假设可进一步细化部分覆盖的概念。两个显著例子是：（1）具有表示学习的低秩MDP，其中部分覆盖条件由未知真实特征表示度量的相对条件数定义；（2）因子化MDP，其中部分覆盖条件由与各个因子相关的基于密度比的可集中系数定义。
引用
@article{arxiv.2107.06226,
title = {Pessimistic Model-based Offline Reinforcement Learning under Partial Coverage},
author = {Masatoshi Uehara and Wen Sun},
journal= {arXiv preprint arXiv:2107.06226},
year = {2023}
}
备注
We changed the title from the first version. This is a longer version of the article accepted in ICLR 2022. The following things are added (1) a new algorithm CPPO-LR where the constraint is given in a log-likelihood form, (2) how to instantiate CPPO on (nonparametric) linear MDPs, (3) posterior sampling in a model-free way