随机序列二次优化中迭代点与乘子的几乎必然收敛性
最优化与控制
2023-08-08 v1 机器学习
摘要
用于求解带非线性等式约束的连续优化问题的随机序列二次优化（SQP）方法近来受到关注，例如用于求解受非凸约束的大规模数据拟合问题。然而，对于此类方法中基于无约束情形下流行的随机梯度方法构建的近期提出的子类，其收敛性保证仅限于平稳性度量的期望值渐近收敛到零。这与无约束情形形成对比，后者中基于随机梯度的方法可证明梯度（目标函数）到零的几乎必然收敛保证。本文证明了该类方法中随机 SQP 算法所生成的原始迭代点、拉格朗日乘子与平稳性度量的新的几乎必然收敛保证。结果表明，拉格朗日乘子的误差可由原始迭代点到原始平稳点的距离加上最新随机梯度估计的误差所界定。进一步表明，在若干假设下，通过对算法运行过程中计算的拉格朗日乘子取滑动平均，可使后一误差消失。文中给出了数值实验以展示所证理论保证。
引用
@article{arxiv.2308.03687,
title = {Almost-sure convergence of iterates and multipliers in stochastic sequential quadratic optimization},
author = {Frank E. Curtis and Xin Jiang and Qi Wang},
journal= {arXiv preprint arXiv:2308.03687},
year = {2023}
}