SANIA: 多亚克型优化框架导致尺度不变随机算法
机器学习
2024-01-01 v1 最优化与控制
摘要
自适应优化方法被广泛认为是训练深度神经网络（DNN）最流行的方法之一。诸如Adam、AdaGrad和AdaHessian等技术使用预条件子，通过纳入目标函数曲率的信息来修改搜索方向。然而，尽管具有自适应特性，这些方法仍然需要手动微调步长。这反过来影响了解决特定问题所需的时间。本文提出了一个名为SANIA的优化框架来应对这些挑战。除了消除手动步长超参数设置的需求外，SANIA还结合了处理尺度不良或病态问题的技术。我们还探索了几种预条件方法，包括Hutchinson方法，该方法近似损失函数的Hessian对角。最后，我们对所提出的技术进行了广泛的实证检验，涵盖了凸和非凸背景下的分类任务。
引用
@article{arxiv.2312.17369,
title = {SANIA: Polyak-type Optimization Framework Leads to Scale Invariant Stochastic Algorithms},
author = {Farshed Abdukhakimov and Chulu Xiang and Dmitry Kamzolov and Robert Gower and Martin Takáč},
journal= {arXiv preprint arXiv:2312.17369},
year = {2024}
}