GOALS：面向深度神经网络稳健一致训练的线搜索梯度-only近似方法

小批量子采样（MBSS）在深度神经网络训练中被青睐以降低计算成本。然而，它引入了固有的采样误差，使得选择合适的学习率具有挑战性。采样误差在线搜索中可表现为偏差或方差。动态MBSS在每次函数评估时重新采样一个小批量。因此，与静态采样损失函数相比，动态MBSS导致点态不连续的损失函数，其偏差更小但方差更大。不过，动态MBSS具有训练期间数据吞吐量更大的优势，但要求解决有关不连续性的复杂性。本研究将梯度-only代理（GOS）——一种仅利用方向导数信息构建二次近似模型的线搜索方法——推广到动态MBSS损失函数。我们提出了一种具有强收敛特性且定义了最优性准则的梯度-only近似线搜索（GOALS）。我们通过将GOALS应用于包括SGD、RMSprop和Adam在内的各种优化器在ResNet-18和EfficientNetB0上，考察了其性能。我们还将GOALS与其他现有的学习率方法进行比较。我们量化了性能最佳和最为稳健的算法。对于后者，我们引入了一个相对稳健准则，使我们能够量化某一算法与给定问题上性能最佳算法之间的差异。结果表明，使用针对一类搜索方向所推荐的学习率来训练模型，有助于在多模态情况下减小模型误差。