具有密度特征的低秩MDP中的强化学习
机器学习
2023-02-07 v1 人工智能
机器学习
摘要
具有低秩转移的MDP——即转移矩阵可分解为左右两个矩阵的乘积——是一种极具代表性的结构，它使得可处理的学习成为可能。左矩阵为基于价值的学习提供了表达性函数逼近，并已被广泛研究。在这项工作中，我们转而研究利用密度特征（即右矩阵）进行样本高效的学习，该特征为状态占有分布引入了强大的模型。这种设定不仅揭示了如何在强化学习中利用无监督学习，也为凸强化学习提供了即插即用的解决方案。在离线设定下，我们提出了一种用于离策略占有估计的算法，该算法能处理非探索性数据。以此为子程序，我们进一步设计了一种在线算法，该算法以逐层方式构建探索性数据分布。作为一个核心的技术挑战，占有估计的加性误差与数据覆盖的乘性定义不兼容。在缺乏如可达性等强假设的情况下，这种不兼容性很容易导致指数级的误差爆炸，我们通过新颖的技术工具克服了这一问题。当密度特征未知且必须从一个指数级大的候选集中学习时，我们的结果也可以很容易地扩展到表示学习设定。
引用
@article{arxiv.2302.02252,
title = {Reinforcement Learning in Low-Rank MDPs with Density Features},
author = {Audrey Huang and Jinglin Chen and Nan Jiang},
journal= {arXiv preprint arXiv:2302.02252},
year = {2023}
}