一种用于无约束优化问题的元wise RSAV 算法
最优化与控制
2023-09-11 v1 机器学习
机器学习
摘要
我们提出一种新颖的优化算法，元wise 松弛标量辅助变量（E-RSAV），它满足无条件能量耗散律并展现出修正能量与原始能量之间改进的吻合度。我们的算法在凸情形下具有线性收敛的严格证明。此外，我们提出一种简单的加速算法，在一元情形下将线性收敛速率提升至超线性。我们还提出了一种带 Steffensen 步长的 E-RSAV 自适应版本。我们通过充分的数值实验验证了算法的鲁棒性与快速收敛性。
引用
@article{arxiv.2309.04013,
title = {An Element-wise RSAV Algorithm for Unconstrained Optimization Problems},
author = {Shiheng Zhang and Jiahao Zhang and Jie Shen and Guang Lin},
journal= {arXiv preprint arXiv:2309.04013},
year = {2023}
}
备注
25 pages, 7 figures