线性函数逼近Q学习的开关系统理论
机器学习
2026-05-20 v2
摘要
本文基于联合谱半径（JSR）发展对线性函数逼近（LFA）的Q学习的开关系统解释。我们推导了均值动力学的精确线性开关模型，并将收敛性关联到相应开关系统的稳定性。随后对独立同分布（i.i.d.）观测和马尔可夫观测的随机线性Q学习也使用了相同的构造。虽然一般情况下精确的JSR计算困难，但该证书捕获切换模式的乘积且可能比单步范数界更不保守。该框架还产生了LFA正则化Q学习的JSR视图。最终的分析在单个参数空间公式中将投影贝尔曼方程、有限差分随机策略开关和开关系统稳定性联系在一起。
引用
@article{arxiv.2605.11021,
title = {A Switching System Theory of Q-Learning with Linear Function Approximation},
author = {Donghwan Lee and Han-Dong Lim},
journal= {arXiv preprint arXiv:2605.11021},
year = {2026}
}