基于终端吸引子的 Placid 终端吸引器梯度下降算法的动态脱耦
机器学习
2024-09-11 v1
摘要
梯度下降（GD）和随机梯度下降（SGD）在众多应用领域中被广泛使用。因此，理解 GD 的动力学并提高其收敛速度仍至关重要。本文细致分析了基于不同梯度流阶段终端吸引子的 GD 动力学。在基于终端滑模理论和终端吸引子理论的基础上，设计了四个自适应学习率。我们在详细的理论考察下检验了其性能，并评估和比较了学习过程的运行时间。还详细研究了其学习过程的总耗时。为评估其有效性，针对函数逼近问题和图像分类问题进行了 various 模拟结果的研究。
引用
@article{arxiv.2409.06542,
title = {Dynamic Decoupling of Placid Terminal Attractor-based Gradient Descent Algorithm},
author = {Jinwei Zhao and Marco Gori and Alessandro Betti and Stefano Melacci and Hongtao Zhang and Jiedong Liu and Xinhong Hei},
journal= {arXiv preprint arXiv:2409.06542},
year = {2024}
}
备注
8 pages, 4 figures