随机性与插值提升梯度下降
机器学习
2025-10-16 v1 人工智能
摘要
基于随机梯度下降(SGD)，本文引入两种优化器，分别称为插值加速梯度下降(IAGD)以及噪声正则化随机梯度下降(NRSGD)。IAGD 利用二阶牛顿插值加速训练过程中的收敛，假设迭代之间存在梯度的相关性。为避免过拟合，NRSGD 采用一种噪声正则化技术，在优化过程中对梯度引入受控噪声。本研究在CIFAR-10和CIFAR-100数据集上对IAGD和NRSGD进行了比较实验，将不同CNN(卷积神经网络)与IAGD和NRSGD进行基准测试，与Keras包中的经典优化器进行对比。结果表明，这两种可行的SGD改进方法具有潜力，暗示了这些进展的有效性。
引用
@article{arxiv.2510.13040,
title = {Randomness and Interpolation Improve Gradient Descent},
author = {Jiawen Li and Pascal Lefevre and Anwar Pp Abdul Majeed},
journal= {arXiv preprint arXiv:2510.13040},
year = {2025}
}