用于梯度下降优化 AUC 的高效分线搜索
机器学习
2024-10-14 v1 人工智能
机器学习
摘要
接收者运行特征（Receiver Operating Characteristic, ROC）曲线在二分类和断点检测中用于评估，但由于面积_under 曲线（Area Under the Curve, AUC）几乎处处为分段常数（梯度为零），因此在学习中难以使用。最近提出了虚假阳性率和虚假阴性率之面积（Area Under Min, AUM）作为 AUC 的可微分替代方案。本文研究了 AUM/AUC 的分段线性/常数特性，提出了新的高效跟随路径算法，用于在优化线性模型时选择梯度下降的学习率（即进行分线搜索）。惊人的是，我们提出的分线搜索算法与使用固定步长的梯度下降具有相同的对数线性渐近时间复杂度，却能够计算 AUM/AUC 相对于步长的完整表示。在本文对二分类问题的实证研究中，我们验证了所提算法快速且精确；在断点检测问题中，我们表明该算法与网格搜索一样准确，但更快。
引用
@article{arxiv.2410.08635,
title = {Efficient line search for optimizing Area Under the ROC Curve in gradient descent},
author = {Jadon Fowler and Toby Dylan Hocking},
journal= {arXiv preprint arXiv:2410.08635},
year = {2024}
}