用于分类和鲁棒回归的替代损失函数可提高人工神经网络的准确性
神经与进化计算
2024-11-06 v4
摘要
所有机器学习算法都使用损失、成本、效用或奖励函数来编码学习目标并监督学习过程。这个监督学习的函数是一个经常被忽视的超参数，它决定了如何惩罚不正确的输出，并且可以通过调整来提高性能。本文表明，神经网络的训练速度和最终准确性可能显著取决于用于训练神经网络的损失函数。特别是，不同的损失函数可能导致导数显著不同，从而在基于梯度下降的反向传播（BP）训练后导致显著不同的性能。本文探讨了使用新的凸损失函数（但与流行的交叉熵损失相比，对错误的惩罚不同）对性能的影响。提出了两个新的分类损失函数，它们在各种基准任务上显著提高了性能。提出了一种称为平滑绝对误差的新损失函数，该函数在具有大量异常值的数据集上优于平方误差、Huber 和 Log-Cosh 损失。这种平滑绝对误差损失函数是无限可微的，并且与用于鲁棒回归的 Huber 和 Log-Cosh 损失相比，更接近绝对误差损失。
引用
@article{arxiv.2303.09935,
title = {Alternate Loss Functions for Classification and Robust Regression Can Improve the Accuracy of Artificial Neural Networks},
author = {Mathew Mithra Noel and Arindam Banerjee and Yug Oswal and Geraldine Bessie Amali D and Venkataraman Muthiah-Nakarajan},
journal= {arXiv preprint arXiv:2303.09935},
year = {2024}
}