基于二阶代理损失的在线 AUC 优化
机器学习
2025-10-27 v1
摘要
曲线下面积 (AUC) 是分类任务中重要的性能指标，尤其在类别不平衡场景中。然而，由于两两 0/1 损失的非凸和不连续特性，这些损失难以优化，同时实例级存储带来的巨大内存成本也在大规模应用中制造了瓶颈。为克服这些挑战，我们提出一种基于两两 hinge loss 的新型二阶代理损失，并开发了高效的在线算法。不同于传统方法用实例级代理函数逐个近似每个两两 0/1 损失项，我们的方法引入了一种新范式，直接用由训练数据的一阶和二阶统计量构建的代理损失函数取代整个聚合两两损失。理论上，虽然现有的在线 AUC 优化算法通常实现 的警戒边界，但我们的方法获得了更紧的 边界。此外，我们通过核方法将所提框架扩展到非线性设置。广泛的基准数据集实验表明，所提出的二阶代理损失在优化在线 AUC 性能方面具有卓越的效率和效果。
引用
@article{arxiv.2510.21202,
title = {Online AUC Optimization Based on Second-order Surrogate Loss},
author = {JunRu Luo and Difei Cheng and Bo Zhang},
journal= {arXiv preprint arXiv:2510.21202},
year = {2025}
}