基于全配对平方铰链损失的不平衡二分类对数线性梯度下降算法
机器学习
2023-02-23 v1 人工智能
摘要
受试者工作特征 (ROC) 曲线是真正率对假正率的图，用于评估二分类算法。由于曲线下面积 (AUC) 是预测值的常值函数，学习算法转而优化涉及所有标注正例与负例配对的凸松弛。朴素学习算法以二次时间计算梯度，对于使用大批量大小的学习而言过慢。我们提出平方损失与平方铰链损失的一种新函数表示，由此得到以线性或对数线性时间计算梯度的算法，并使使用大批量大小的梯度下降学习成为可能。在不平衡监督二分类问题的实证研究中，我们表明新算法在不平衡数据集上可比先前算法取得更高的测试 AUC 值，并能使用比先前可行更大的批量大小。
引用
@article{arxiv.2302.11062,
title = {A Log-linear Gradient Descent Algorithm for Unbalanced Binary Classification using the All Pairs Squared Hinge Loss},
author = {Kyle R. Rust and Toby D. Hocking},
journal= {arXiv preprint arXiv:2302.11062},
year = {2023}
}