渐近无偏的实例级正则化部分 AUC 优化:理论与算法
机器学习
2022-10-12 v2
摘要
ROC 曲线下部分面积(PAUC)通常包括单向部分 AUC(OPAUC)与双向部分 AUC(TPAUC),用于衡量二分类器在特定假正率及/或真正率区间内的平均性能,在必须考虑决策约束时是一种被广泛采用的度量。因此,近年来 PAUC 优化在自然而然地吸引了机器学习界越来越多的关注。然而,现有大多数方法只能近似优化 PAUC,导致不可控的固有偏差。幸运的是,近期一项工作通过分布鲁棒优化给出了 PAUC 优化问题的无偏表述。但其基于 AUC 的成对表述,在样本量可扩展性上受限且收敛速度慢,尤其对 TPAUC 而言。为解决此问题,我们以渐近无偏且实例级的方式给出了该问题的一个更简洁重构。对于 OPAUC 与 TPAUC,我们都得到了一个关于实例函数的非凸强凹极小极大正则化问题。在此基础上,我们采用一种高效求解器,其每次迭代计算复杂度关于样本量呈线性,且达到 平稳点的时间复杂度为 。此外,我们发现该极小极大重构也便于对泛化误差进行理论分析,可谓意外之喜。与已有结果相比,我们给出了更易证明且能处理实值输出假设的新误差界。最后,在多个基准数据集上的大量实验证明了我们方法的有效性。
引用
@article{arxiv.2210.03967,
title = {Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm},
author = {Huiyang Shao and Qianqian Xu and Zhiyong Yang and Shilong Bao and Qingming Huang},
journal= {arXiv preprint arXiv:2210.03967},
year = {2022}
}
备注
NeurIPS 2022