SAGRAD：一种结合模拟退火与共轭梯度法的神经网络训练程序
机器学习
2025-02-04 v1 神经与进化计算
摘要
SAGRAD（Simulated Annealing GRADient）是一个用于使用小批量学习进行分类神经网络计算的 Fortran 77 程序。讨论了SAGRAD中神经网络训练的不同方面，如基于模拟退火和 M{\o}ller 比例共轭梯度算法（后者是传统共轭梯度方法的一个变体，更适用于神经网络的非二次性质）的训练方法。讨论了SAGRAD训练过程中实现的不同方面，例如梯度的有效计算以及Hessian矩阵与向量乘积，这些都是M{\o}ller算法所必需的；在神经网络首次训练以及每次显示进展不足时重新初始化权重的模拟退火；以及在M{\o}ller算法在可能的局部最小值或权重空间的平坦区域中被卡住时使用模拟退火。介绍了SAGRAD中比例共轭梯度算法、模拟退火程序及训练过程的概述，并呈现了在两个训练数据示例上运行SAGRAD的结果。
引用
@article{arxiv.2502.00112,
title = {SAGRAD: A Program for Neural Network Training with Simulated Annealing and the Conjugate Gradient Method},
author = {Javier Bernal and Jose Torres-Jimenez},
journal= {arXiv preprint arXiv:2502.00112},
year = {2025}
}