神经网络训练中的并行信赖域方法：超越传统方法
数值分析
2023-12-22 v1 机器学习
数值分析
摘要
我们提出使用“加法预条件信赖域策略”（APTS）的一种新颖变体来训练神经网络（NNs）。所提出的方法基于应用于神经网络参数的可并行加法区域分解方法。建立在信赖域（TR）框架之上，APTS 方法确保了向最小化器的全局收敛。此外，它消除了对计算昂贵的超参数调整的需求，因为 TR 算法会自动确定每次迭代的步长。我们通过一系列数值实验展示了所提出的 APTS 训练方法的能力、优势和局限性。所展示的数值研究包括与广泛使用的训练方法（如 SGD、Adam、LBFGS 和标准 TR 方法）的比较。
引用
@article{arxiv.2312.13677,
title = {Parallel Trust-Region Approaches in Neural Network Training: Beyond Traditional Methods},
author = {Ken Trotti and Samuel A. Cruz Alegría and Alena Kopaničáková and Rolf Krause},
journal= {arXiv preprint arXiv:2312.13677},
year = {2023}
}