Lipschitz光滑性下易控随机重排梯度算法的收敛性
最优化与控制
2024-05-22 v3 机器学习
摘要
在这项工作中，我们考虑最小化非常大数量的光滑且可能非凸函数的平均值，并聚焦于解决该优化问题的两个广泛使用的minibatch框架：增量梯度（Incremental Gradient, IG）和随机重排（Random Reshuffling, RR）。我们定义了IG/RR方案的易控修正，其仅需轻微的额外计算代价，但可在弱且标准的假设下被证明收敛。具体而言，我们定义了两种算法方案，其中IG/RR迭代通过使用看门狗规则和仅偶尔激活的无导数线搜索来控制以保证收敛。这两种方案的区别在于看门狗和线搜索，其分别使用单调或非单调规则执行。这两种方案还允许控制主IG/RR迭代中所用步长的更新，避免使用可能使步长过快趋于零的预设规则，从而减少设计有效步长更新规则的工作量。我们在分量函数梯度Lipschitz连续的温和假设下证明收敛性，并使用不同的深度神经网络架构和一组不同规模的数据集进行广泛的计算分析。我们将我们的实现与全批量梯度法（即L-BFGS）以及IG/RR方法的一种实现进行比较，证明我们的算法与其他在线算法所需计算代价相当，且对学习率的控制可令目标函数下降更快。
引用
@article{arxiv.2212.01848,
title = {Convergence of ease-controlled Random Reshuffling gradient Algorithms under Lipschitz smoothness},
author = {Ruggiero Seccia and Corrado Coppola and Giampaolo Liuzzi and Laura Palagi},
journal= {arXiv preprint arXiv:2212.01848},
year = {2024}
}
备注
Add author, add references, correct typos, improve imoplementation