随机梯度采样以增强神经网络训练
机器学习
2025-03-19 v4 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
本文中，我们提出 StochGradAdam，一种作为 Adam 算法扩展的新型优化器，它结合了随机梯度采样技术，在保持稳健性能的同时提升计算效率。StochGradAdam 通过在训练过程中选择性采样部分梯度进行优化，在降低计算成本的同时保留了 Adam 中自适应学习率和偏差修正的优势。我们应用于图像分类与分割任务的实验结果表明，即便每次迭代使用更少的梯度更新，StochGradAdam 也能取得与 Adam 相当或更优的性能。通过聚焦于关键梯度更新，StochGradAdam 提供了稳定的收敛性以及对损失景观的增强探索，同时减轻了噪声梯度的影响。结果表明，该方法对大规模模型与数据集尤为有效，为深度学习应用中的传统优化技术提供了一种有前景的替代方案。
引用
@article{arxiv.2310.17042,
title = {Stochastic Gradient Sampling for Enhancing Neural Networks Training},
author = {Juyoung Yun},
journal= {arXiv preprint arXiv:2310.17042},
year = {2025}
}