不平衡数据二分类中用于优化$F_\beta$分数的替代损失函数
机器学习
2021-04-06 v1 机器学习
摘要
分数是一种常用的分类性能度量，在不平衡数据集的分类任务中起着关键作用。然而，由于其不可微性，分数不能作为基于梯度的学习算法优化神经网络参数的损失函数。另一方面，常用的损失函数如二元交叉熵(BCE)损失与分数等性能度量没有直接关系，因此使用这些损失函数优化的神经网络可能不会产生最优的性能度量。在本研究中，我们从相对于模型参数的梯度的角度研究了分类性能度量与损失函数之间的关系。然后，我们提出了一种用于优化分数的可微替代损失函数。我们表明，所提出的替代损失函数的梯度路径近似于分数的大样本极限的梯度路径。通过使用ResNets和基准图像数据集的数值实验证明，与其他损失函数相比，所提出的替代损失函数在二分类任务中类别不平衡下优化分数是有效的。
引用
@article{arxiv.2104.01459,
title = {A surrogate loss function for optimization of $F_\beta$ score in binary classification with imbalanced data},
author = {Namgil Lee and Heejung Yang and Hojin Yoo},
journal= {arXiv preprint arXiv:2104.01459},
year = {2021}
}
备注
17 pages