随机移动锚算法及其基于移动锚的 Popov 方案
最优化与控制
2025-06-10 v1
摘要
自锚定方法在外推型鞍点问题中引入以来,由于其能够在非常一般的problem设置下提供加速收敛的次优收敛率,激发了广泛的研究。这尤其重要,因为研究者正在考虑人工智能 (AI) 和机器学习 (ML) 中的问题,而这些问题的规模庞大,需要巨大的计算资源。较新的研究多探讨了这一新型加速框架的理论方面,将其与文献中现有方法和次优收敛率相联系。然而,在实际应用中,引入随机或acles 能够更高效地处理许多现代优化问题的规模。为此,本工作为原有锚定算法的移动锚变体 [1] 提供了随机实现和稳健分析,以弥合从确定性到随机算法设置之间的差距。特别是,我们证明了对于我们的移动锚方案,针对随机 oracles 也存在加速收敛率理论,这本身是原有固定锚算法的泛化,并提供了数值结果验证我们的理论发现。我们还发展了一个基于 [33] 工作的移动锚 Popov 方案,虽然尚未发现其一般收敛理论,但数值结果显示其具有前景。
引用
@article{arxiv.2506.07290,
title = {Stochastic Moving Anchor Algorithms and a Popov's Scheme with Moving Anchor},
author = {James Alcala and Yat Tin Chow and Mahesh Sunkula},
journal= {arXiv preprint arXiv:2506.07290},
year = {2025}
}
备注
22 pages, 3 figures