AN-SPS：用于凸约束优化问题的自适应样本量非单调线搜索谱投影次梯度法
最优化与控制
2024-10-31 v4
摘要
我们考虑目标函数为数学期望形式、可能不可微的凸优化问题。所提出的框架（AN-SPS）采用样本平均近似（SAA）来近似目标函数，该函数要么不可得要么计算代价过高。样本量以自适应方式选取，最终几乎必然（a.s.）将 SAA 误差推至零。搜索方向基于与 SAA 函数相关的缩放次梯度与谱系数。步长通过预定义区间上的非单调线搜索获得，从而得到理论上严谨且实践中高效的算法。该方法通过将所得点投影到可行集上保持可行性。AN-SPS 方法的 a.s. 收敛性在不假设可行集有界或迭代有界的情况下得到证明。在 Hinge 损失问题上的初步数值结果揭示了所提自适应方案的优势。此外，还研究了 AN-SPS 框架内不同非单调线搜索策略与不同谱系数的组合，为未来工作提供了一些启示。
引用
@article{arxiv.2208.10616,
title = {AN-SPS: Adaptive Sample Size Nonmonotone Line Search Spectral Projected Subgradient Method for Convex Constrained Optimization Problems},
author = {Nataša Krklec Jerinkić and Tijana Ostojić},
journal= {arXiv preprint arXiv:2208.10616},
year = {2024}
}
备注
30 pages, 3 figures