低秩MDP中的无模型表示学习与探索
机器学习
2022-06-23 v2 机器学习
摘要
低秩MDP已成为研究强化学习中表示学习与探索的重要模型。在已知表示的情况下，存在若干无模型探索策略。相比之下，所有针对未知表示设定的算法都是基于模型的，因此需要具备对完整动力学建模的能力。本工作中，我们提出首个面向低秩MDP的无模型表示学习算法。关键的算法贡献是一个新的极小极大表示学习目标，我们提供了在统计与计算性质上具有不同权衡的变体。我们将此表示学习步骤与一种以无奖励方式覆盖状态空间的探索策略交错进行。所得算法被证明具有样本高效性，并可容纳通用函数逼近以扩展到复杂环境。
引用
@article{arxiv.2102.07035,
title = {Model-free Representation Learning and Exploration in Low-rank MDPs},
author = {Aditya Modi and Jinglin Chen and Akshay Krishnamurthy and Nan Jiang and Alekh Agarwal},
journal= {arXiv preprint arXiv:2102.07035},
year = {2022}
}
备注
Changelog v2: Significant reorganization of the paper, added an improved analysis of elliptic planner and updated discussion wrt follow-up work