小批量随机近端点方法的更精细分析：稳定性、光滑性与偏差

Xiao-Tong Yuan; Ping Li

小批量随机近端点方法的更精细分析：稳定性、光滑性与偏差

机器学习 2023-01-10 v1 机器学习最优化与控制

作者: Xiao-Tong Yuan , Ping Li

摘要

随机近端点（SPP）方法近年来因其在随机优化中强大的收敛保证以及对经典随机梯度下降（SGD）方法展现出的卓越鲁棒性而受到关注，且几乎不增加计算开销。本文研究 SPP 的一种小批量变体，即 M-SPP，用于求解凸复合风险最小化问题。核心贡献是通过算法稳定性理论视角导出的一组 M-SPP 新颖 excess risk 界。特别是在光滑性与二次增长条件下，我们证明具有小批量大小 $n$ 与迭代次数 $T$ 的 M-SPP 享有期望意义下的快速收敛率，由 $\mathcal{O}\left(\frac{1}{T^2}\right)$ 的偏差衰减项与 $\mathcal{O}\left(\frac{1}{nT}\right)$ 的方差衰减项构成。在小- $n$ -大- $T$ 情形下，该结果通过揭示模型噪声水平对收敛率的影响，显著改进了已知的 SPP 类方法最佳结果。在互补的小- $T$ -大- $n$ 情形下，我们提供 M-SPP 的两阶段扩展以取得可比收敛率。此外，我们导出了 M-SPP 无放回采样变体的参数估计误差在高度概率（关于数据随机性）意义下的近紧界。我们提供了数值证据，在将理论应用于 Lasso 与 logistic 回归模型时支持我们的理论预测。

关键词

随机近端点小批量算法稳定性 excess risk 界凸复合光滑性二次增长

引用

@article{arxiv.2301.03125,
  title  = {Sharper Analysis for Minibatch Stochastic Proximal Point Methods: Stability, Smoothness, and Deviation},
  author = {Xiao-Tong Yuan and Ping Li},
  journal= {arXiv preprint arXiv:2301.03125},
  year   = {2023}
}

小批量随机近端点方法的更精细分析：稳定性、光滑性与偏差

摘要

关键词

引用

相关论文