基于排序的替代损失函数优化 ROC 曲线用于二分类与变化点检测
机器学习
2021-07-06 v1 机器学习
摘要
受试者工作特征（ROC）曲线是真阳性率对假阳性率的图，可用于评估二分类模型，但由于曲线下面积（AUC）非凸，难以用于学习。ROC 曲线也可用于其他具有假阳性与真阳性率的问题，如变化点检测。我们表明，在这一更一般的情形下，ROC 曲线可能出现环路、具有高度次优错误率的点，以及大于一的 AUC。该观察引出了一个新的优化目标：与其最大化 AUC，我们更希望得到一条单调且 AUC=1 的 ROC 曲线，并避免 Min(FP,FN) 取值较大的点。我们提出了该目标的一个凸松弛，得到一种称为 AUM（即 Area Under Min(FP, FN)，Min(FP, FN) 下面积）的新替代损失函数。先前的损失函数基于对所有标注样本或样本对求和，而 AUM 需要对 ROC 曲线上的点序列进行排序并求和。我们证明了 AUM 方向导数可被高效计算并用于梯度下降学习算法。在我们对监督二分类与变化点检测问题的实证研究中，表明我们新的 AUM 最小化学习算法相较先前基线取得了改进的 AUC 与相当的速度。
引用
@article{arxiv.2107.01285,
title = {Optimizing ROC Curves with a Sort-Based Surrogate Loss Function for Binary Classification and Changepoint Detection},
author = {Jonathan Hillman and Toby Dylan Hocking},
journal= {arXiv preprint arXiv:2107.01285},
year = {2021}
}