结合线搜索与梯度下降的混合坐标下降法用于高效神经网络学习
机器学习
2024-08-05 v1
摘要
本文提出一种新颖的坐标下降算法，利用单向线搜索与梯度信息的组合进行平方误差损失函数的参数更新。每个参数的更新由线搜索或梯度方法决定，取决于损失函数关于该参数的梯度的模是否超过预设阈值。值得注意的是，较大的阈值能提升算法效率。尽管线搜索方法相对于梯度下降可能较慢，但其可并行性有助于减少计算时间。在包含合成数据的 2 层修正线性单元网络上的实验验证阐明了超参数对收敛率和计算效率的影响。
引用
@article{arxiv.2408.01374,
title = {Hybrid Coordinate Descent for Efficient Neural Network Learning Using Line Search and Gradient Descent},
author = {Yen-Che Hsiao and Abhishek Dutta},
journal= {arXiv preprint arXiv:2408.01374},
year = {2024}
}