随机近似算法的几乎 surely 收敛：噪声与步长之间的相互作用

我们研究了在负漂移条件和具有有限$p$次矩的一般噪声序列作用下，随机近似算法几乎 surely 收敛于非线性算子的固定点$x^\star$。经典的随机近似几乎 surely 收敛结果大多针对平方可测噪声情形，证明任何不可求和但平方可求和的步长序列足以获得几乎 surely 收敛。然而，这一限制阻碍了更广泛的算法应用。特别是，许多机器学习和运营研究应用接受重尾噪声，方差无限，这使得此类保证不可用。另一方面，当噪声满足更强条件时，这些步长保证会过于保守，因为实践者希望选择更大的步长以获得更可取的收敛行为。为此，我们证明任何不可求和但$p$次方可求和的步长序列足以保证几乎 surely 收敛，涵盖了文献中的空白。我们采用通用的李apunov漂移论证方法。在$p \in (1, 2)$的 regime 中，我们证明使用李apunov函数$\norm{x-x^\star}^p$并应用Taylor类界限即可。在$p > 2$时，这种方法不再适用，因此我们引入一种新的迭代投影技术来控制由高阶矩界限和乘性噪声产生的非线性项。我们认为我们的证明技术及其含义可能独立具有意义，并为在一般噪声条件下进行有限时长分析铺平了道路。