Simba：一种用于快速规避平坦区域与鞍点的可扩展双层预条件梯度法
最优化与控制
2023-09-12 v1
摘要
由于鞍点的存在，一阶方法应用于高维非凸函数时其收敛行为可能严重变慢。此外，若鞍点被大面积高原所包围，一阶方法极有可能收敛到次优解。在机器学习应用中，次优解意味着较差的泛化性能。它们也与超参数调优问题相关，因为在追求产生更低误差的解时，需要耗费大量时间来恰当选择超参数。解决一阶方法局限性的一种自然方式是利用 Hessian 信息。然而，纳入 Hessian 的方法无法扩展，或者即便可以扩展，对于现代应用而言也极其缓慢。在此，我们提出 Simba，一种可扩展的预条件梯度方法，以解决一阶方法的主要局限。该方法实现非常简单。它维护一个单一的预条件矩阵，该矩阵由梯度的移动平均的外积构成。为了显著降低形成和求逆预条件子的计算成本，我们建立了与多层优化方法的联系。这些联系使我们能够以随机化方式构造预条件子。我们的数值实验验证了 Simba 的可扩展性及其在鞍点与平坦区域附近的效能。此外，我们证明 Simba 在标准基准残差网络上提供了令人满意的泛化性能。我们还分析了 Simba，并展示了其在强凸函数下的线性收敛速率。
引用
@article{arxiv.2309.05309,
title = {Simba: A Scalable Bilevel Preconditioned Gradient Method for Fast Evasion of Flat Areas and Saddle Points},
author = {Nick Tsipinakis and Panos Parpas},
journal= {arXiv preprint arXiv:2309.05309},
year = {2023}
}