动态损失函数塑造损失景观轮廓并提高人工神经网络中的学习效果
机器学习
2025-11-06 v3
摘要
动态损失函数源自用于监督分类任务的标准损失函数，但被修改，使得每个类别的贡献周期性地增加和减少。这些振荡在不影响全局最小值的情况下全球性地改变损失景观。在本文中，我们展示了如何将交叉熵和均方误差转换为动态损失函数。我们首先讨论了增加神经网络大小或学习率对系统所探索的最小值深度和锋利程度的影响。基于此直觉，我们提出了几种动态损失函数的版本，并使用一个简单分类问题，表明它们显著提高了不同大小网络的验证准确率。最后，我们探讨了这些动态损失函数在训练期间景观如何演化，突出了与边缘不稳定性最小化相关的不稳定性的出现。
引用
@article{arxiv.2410.10690,
title = {Dynamical loss functions shape landscape topography and improve learning in artificial neural networks},
author = {Eduardo Lavin Pallero and Miguel Ruiz-Garcia},
journal= {arXiv preprint arXiv:2410.10690},
year = {2025}
}