利用梯度 Lexicase 选择优化神经网络

在机器学习中使用聚合性能测量的一个潜在缺点是，模型可能会为了在其他训练案例上获得较低误差而接受在某些训练案例上较高的误差作为妥协，而这些较低的误差实际上是过拟合的实例。这可能导致停滞于局部最优以及泛化能力差。Lexicase 选择是进化计算中开发的一种不妥协的方法，它基于单个训练案例误差序列来选择模型，而不是使用损失和准确率等聚合指标。在本文中，我们研究了如何将其一般形式的 lexicase 选择整合到深度学习的背景中以增强泛化能力。我们提出了梯度 Lexicase 选择（Gradient Lexicase Selection），这是一种以进化方式结合梯度下降和 lexicase 选择的优化框架。我们的实验结果表明，所提出的方法提高了各种广泛使用的深度神经网络架构在三个图像分类基准测试上的泛化性能。此外，定性分析表明，我们的方法有助于网络学习更多样化的表示。我们的源代码可在 GitHub 上获取：https://github.com/ld-ing/gradient-lexicase。