周期正则化Q学习
机器学习
2026-02-04 v1 人工智能
摘要
在强化学习（RL）中，Q学习是一种基本算法，其在表格设置下具有收敛保证。然而，在线性函数逼近情况下，这种收敛保证并不成立。为克服这一限制，大量研究引入了正则化技术以确保在函数逼近下的稳定收敛。本文提出了一种新算法，称为周期正则化Q学习（PRQ）。我们首先在投影算子层面引入正则化，显式构造正则化投影值迭代（RP-VI），随后将其扩展为基于样本的RL算法。通过合适地对投影算子进行正则化， resulting in the projected value iteration becomes a contraction. By extending this regularized projection into the stochastic setting, we establish the PRQ algorithm and provide a rigorous theoretical analysis that proves finite-time convergence guarantees for PRQ under linear function approximation.
引用
@article{arxiv.2602.03301,
title = {Periodic Regularized Q-Learning},
author = {Hyukjun Yang and Han-Dong Lim and Donghwan Lee},
journal= {arXiv preprint arXiv:2602.03301},
year = {2026}
}