基于线性函数逼近的近极小极大最优强化学习
机器学习
2023-01-31 v3
摘要
我们研究基于线性函数逼近的强化学习，其中转移概率与奖励函数相对于特征映射 是线性的。具体而言，我们考虑片段式非齐次线性马尔可夫决策过程（MDP），并提出一种新颖的计算高效算法 LSVI-UCB，其达到 的悔界，其中 为片段长度， 为特征维数， 为步数。LSVI-UCB 建立在加权岭回归与带 Bernstein 型探索奖励的上置信值迭代之上。我们的统计结果借助新颖的分析工具获得，包括一个新的具保守性的椭圆势 Bernstein 自归一化界，以及对修正项的精炼分析。这是线性 MDP 直至对数因子的极小极大最优算法，其弥合了 (Jin et al., 2020) 中 的上界与线性 MDP 的 下界之间的 差距。
引用
@article{arxiv.2206.11489,
title = {Nearly Minimax Optimal Reinforcement Learning with Linear Function Approximation},
author = {Pihe Hu and Yu Chen and Longbo Huang},
journal= {arXiv preprint arXiv:2206.11489},
year = {2023}
}
备注
This is an updated version of our ICML camera-ready version, which has a technical error in building the over-optimistic value function. In this version, this error is fixed using the technique of the "rare-switching" value function from (He et al., 2022)