基于非线性预条件信任域方法的数据并行神经网络训练

并行训练方法在机器学习中日益重要，因模型和数据集大小持续增长。我们提出了Additively Preconditioned Trust-Region Strategy (APTS)的一个变体，用于训练深度神经网络（DNN）。 proposed APTS方法利用数据并行方法构建用于非线性优化策略的非线性预条件器。与常见采用随机梯度下降（SGD）和自适应矩估计（Adam）——这两种都是梯度下降（GD）算法变体——的做法不同，APTS方法在每个迭代中隐式调整步长，从而无需进行耗费昂贵的超参数调优。我们使用MNIST和CIFAR-10数据集演示了所提APTS变体的性能。结果表明，所提出的APTS变体在保持与SGD和Adam相当的验证准确率的同时，实现了并行训练，无需进行昂贵的超参数调优。