面向鲁棒回归和分位数回归的亚二次型SGD分段Lyapunov分析

受鲁棒回归和分位数回归问题的启发，本文研究用于最小化局部强凸目标函数f的随机梯度下降（SGD）算法，该函数具有亚二次尾部。这一设定涵盖了众多广泛使用的在线统计方法。我们引入一种新的分段Lyapunov函数，使我们能够处理仅具有一阶可微性的函数f，包括诸多流行的损失函数，如Huber损失。凭借我们提出的Lyapunov函数，我们在一般递减步长下推导有限时隩矩界，以及恒定步长下进行分析。我们进一步在恒定步长下建立了弱收敛性、中心极限定理和偏差特征化，首次为亚二次型SGD提供几何收敛结果。我们的结果具有广泛的应用前景，尤其是在在线统计方法领域。具体而言，我们讨论了两种应用：1）在线鲁棒回归：我们考虑带有亚指数协变量和重尾噪声的受污染线性模型。我们的分析为具有高斯协变量和噪声的受污染模型提供了相当于其收敛速率的收敛速率。2）在线分位数回归：重要的是，我们的结果放宽了先前工作中常见的条件密度连续性假设，提供了对时隩界更细致的分析。