随机梯度下降的新型对数步长
机器学习
2024-04-02 v1 最优化与控制
摘要
本文提出一种新的温暖重启技术，采用新的对数步长进行随机梯度下降 (SGD) 方法。对于光滑和非凸函数，我们建立了 SGD 的 收敛率。我们进行了全面的实现，以演示新提出的步长在约 ~FashionMinst~, ~CIFAR10~ 和 CIFAR100 数据集上的效率。此外，我们将结果与九个其他现有方法进行比较，证明在使用卷积神经网络 (CNN) 模型时，新的对数步长可使 CIFAR100 数据集的测试准确率提高 。
引用
@article{arxiv.2404.01257,
title = {New logarithmic step size for stochastic gradient descent},
author = {M. Soheil Shamaee and S. Fathi Hafshejani and Z. Saeidian},
journal= {arXiv preprint arXiv:2404.01257},
year = {2024}
}