投影 Bellman 方程、线性 Q 学习与近似值迭代的理论属性

Han-Dong Lim; Donghwan Lee

投影 Bellman 方程、线性 Q 学习与近似值迭代的理论属性

人工智能 2025-04-16 v1 机器学习

作者: Han-Dong Lim , Donghwan Lee

摘要

在本文中，我们研究了投影 Bellman 方程 (PBE) 和两种求解该方程的算法：线性 Q 学习和近似值迭代 (AVI)。我们考虑 PBE 解的存在的两种充分条件：严格负行支配对角线 (SNRDD) 假设和一种受 AVI 收敛启发的条件。SNRDD 假设还确保线性 Q 学习的收敛，我们考察了其与 AVI 收敛的关系。最后，提供了若干关于使用 $\epsilon$ -greedy 策略时 PBE 解的有趣观察。

关键词

投影 Bellman 方程线性 Q 学习近似值迭代 SNRDD 收敛分析 $\epsilon$-贪婪策略

引用

@article{arxiv.2504.10865,
  title  = {Understanding the theoretical properties of projected Bellman equation, linear Q-learning, and approximate value iteration},
  author = {Han-Dong Lim and Donghwan Lee},
  journal= {arXiv preprint arXiv:2504.10865},
  year   = {2025}
}

备注

Initial submission

投影 Bellman 方程、线性 Q 学习与近似值迭代的理论属性

摘要

关键词

引用

备注

相关论文