面向大规模图像分类卷积神经网络的神经损失函数进化
计算机视觉与模式识别
2024-03-15 v1 机器学习
摘要
对于分类任务，神经网络通常通过最小化交叉熵来学习，但使用准确率进行评估和比较。这种差异促使了神经损失函数搜索（neural loss function search, NLFS），即寻找交叉熵的即插即用替代损失函数用于神经网络。我们将 NLFS 应用于图像分类卷积神经网络。我们为 NLFS 提出了一个新的搜索空间，鼓励探索更多样化的损失函数，以及一个能够准确迁移到大规模卷积神经网络的代理函数。我们使用正则化进化（一种仅变异的老化遗传算法）来搜索该空间。在进化和我们提出的损失函数淘汰协议之后，我们将最终的损失函数跨多种架构、数据集和图像增强技术进行迁移，以评估其泛化能力。最终，我们发现了三种新的损失函数，分别称为 NeuroLoss1、NeuroLoss2 和 NeuroLoss3，在大多数实验中，作为简单的即插即用替代损失函数，它们在更高的平均测试准确率方面优于交叉熵。
引用
@article{arxiv.2403.08793,
title = {Neural Loss Function Evolution for Large-Scale Image Classifier Convolutional Neural Networks},
author = {Brandon Morgan and Dean Hougen},
journal= {arXiv preprint arXiv:2403.08793},
year = {2024}
}