缩减的 Jeffries-Matusita 距离：一种提升深度分类模型泛化性能的新型损失函数
机器学习
2024-03-14 v1
摘要
深度神经网络在分类任务中的泛化性能是机器学习研究中的一个主要关注点。尽管使用了诸如数据增强、伪标签、正则化和集成学习等广泛技术来减轻过拟合问题，但这种性能仍需要通过其他方法来提升。近年来，理论上已证明损失函数的特性，即其 Lipschitz 性和最大值，会影响深度神经网络的泛化性能，这可以作为提出新型距离度量的指导。在本文中，通过分析上述特性，我们引入了一种称为缩减的 Jeffries-Matusita 距离作为训练深度分类模型的损失函数，以减少过拟合问题。在我们的实验中，我们在两个不同问题上评估了这种新损失函数：计算机视觉中的图像分类和图学习背景下的节点分类。结果表明，即使训练集规模较小，这种新距离度量也能显著稳定训练过程，增强泛化能力，并在准确率和 F1-score 指标上提升模型性能。
引用
@article{arxiv.2403.08408,
title = {Reduced Jeffries-Matusita distance: A Novel Loss Function to Improve Generalization Performance of Deep Classification Models},
author = {Mohammad Lashkari and Amin Gheibi},
journal= {arXiv preprint arXiv:2403.08408},
year = {2024}
}