记忆与非线性在常数步长随机逼近中的共谋

在这项工作中，我们研究了具有马尔可夫数据和非线性更新的随机逼近（SA），步长常数α>0。现有工作主要关注独立同分布数据或线性更新规则。我们采取新视角，仔细检查马尔可夫数据依赖性和非线性更新规则的同时存在，描绘这两种结构之间的相互作用如何导致先前技术未捕捉到的复杂性。通过利用SA更新的平滑性和递归性质，我们对SA迭代θ_k和马尔可夫数据x_k之间的相关性进行了精细分析。这使我们能够克服现有分析中的障碍，并首次建立了联合过程(x_k, θ_k)_{k≥0}的弱收敛性。此外，我们给出了SA迭代渐近偏差的精确刻画：E[θ_∞]-θ^* = α(b_m + b_n + b_c) + O(α^{3/2})。这里，b_m与马尔可夫噪声相关，b_n与非线性相关，值得注意的是，b_c表示马尔可夫噪声和非线性之间的乘法交互作用，这在先前工作中是不存在的。作为我们分析的副产品，我们推导了高阶矩E[||θ_k-θ^*||^{2p}]的有限时间界，并给出了迭代的非渐近几何收敛速率，以及中心极限定理。