通过坐标搜索算法训练人工神经网络

训练人工神经网络是机器学习中一个具有挑战性且关键的问题。尽管基于梯度的学习方法（如随机梯度下降 SGD）在训练神经网络方面行之有效，但它们确实存在一些局限性。例如，它们需要可微的激活函数，并且无法同时基于多个独立的不可微损失函数优化模型；例如，在测试期间使用的 F1-score，若使用无梯度优化算法，则可在训练期间使用。此外，任何深度神经网络（DNN）的训练都可以在小规模训练数据集下实现。为解决这些问题，我们提出了一种高效的无梯度坐标搜索（CS）算法版本（广义模式搜索方法的一个实例）用于训练神经网络。所提出的算法可与不可微激活函数配合使用，并适用于多目标/多损失问题。寻找人工神经网络（ANNs）权重的最优值是一个大规模优化问题。因此，我们不是像经典 CS 中那样寻找每个变量的最优值，而是通过捆绑权重来加速优化和收敛。事实上，这种策略是优化问题中的一种降维形式。实验结果表明，在某些情况下，所提出的方法优于基于梯度的方法，特别是在标记训练数据不足的情况下。性能图展示了高收敛率，突显了我们建议的方法能够以更少的函数调用找到合理解决方案的能力。截至目前，训练具有数十万权重的人工神经网络的唯一实用且高效的方法是基于梯度的算法，如 SGD 或 Adam。在本文中，我们介绍了一种训练 ANN 的替代方法。