低秩 MDP 中高效的免模型探索
机器学习
2024-03-01 v2 最优化与控制
摘要
强化学习的一大挑战是为高维领域中的探索开发实用、样本高效的算法，此类领域需要泛化与函数近似。低秩马尔可夫决策过程——其转移概率基于未知特征嵌入容许低秩分解——为带函数近似的强化学习提供了一个简单而具表达力的框架，但现有算法要么（1）计算上难以处理，要么（2）依赖受限的统计假设，如潜变量结构、基于模型的函近访问或可达性。本工作中，我们提出首个可证明样本高效的低秩 MDP 探索算法，其既计算高效又免模型，允许一般函数近似且无需额外结构假设。我们的算法 VoX 利用特征嵌入的重心张成（barycentric spanner）概念作为可高效计算的探索基，通过交织表示学习与策略优化来执行高效的重心张成计算。我们的分析——简洁且模块化——细致结合了多种技术，包括一种容错重心张成计算的新方法及对先前工作中某极小极大表示学习目标的改进分析。
引用
@article{arxiv.2307.03997,
title = {Efficient Model-Free Exploration in Low-Rank MDPs},
author = {Zakaria Mhammedi and Adam Block and Dylan J. Foster and Alexander Rakhlin},
journal= {arXiv preprint arXiv:2307.03997},
year = {2024}
}