半范数 Lyapunov 稳定性的非渐近理论：从确定性到随机迭代算法

我们研究求解半范数收缩算子的固定点方程的问题，建立了确定性和随机情景下迭代算法非渐近行为的基础结果。具体而言，在确定性情景下，我们证明了半范数收缩算子的固定点定理，表明迭代序列在几何收敛于半范数的核中。在随机情景下，我们分析了在半范数收缩算子和马尔可夫噪声下的相应随机逼近（SA）算法，给出各种步长选择的有限样本分析。线性方程组是方程求解的基准，其固定点迭代的收敛行为与线性动力系统的稳定性密切相关。在此特殊情况下，我们的结果对半范数下的系统稳定性提供了完整的表征，将其与正半定矩阵的 Lyapunov 方程解相联系。在随机情景下，我们在不要求 Hurwitz 条件的情况下，建立了线性马尔可夫 SA 的有限样本分析。我们的理论结果为包括 TD($\lambda$)（这是求解泊松方程的一个特例）和控制 Q 学习等平均奖励情景下的各种强化学习算法的有限样本界限提供了统一框架。