多类AUC学习：理论与算法
机器学习
2021-07-29 v1
摘要
ROC曲线下面积（AUC）是类别不平衡学习与推荐系统等问题中著名的排序度量。现有绝大多数基于AUC优化的机器学习方法仅关注二分类情形，而未考虑多分类情形。本文较早地尝试通过优化多类AUC度量来学习多类打分函数。我们的基础基于M度量，它是AUC的知名多类扩展。我们首先重访该度量，表明其可消除来自少数类样本对的类别不平衡问题。受此启发，我们提出一种经验代理风险最小化框架来近似优化M度量。理论上，我们证明：(i) 优化大多数流行的可微代理损失足以渐近达到贝叶斯最优打分函数；(ii) 该训练框架享有不平衡感知的泛化误差界，与传统结果相比更关注少数类的瓶颈样本。在实践中，为应对计算操作可扩展性低的问题，我们针对指数损失、平方损失与铰链损失三种流行代理损失提出加速方法，以加快损失与梯度计算。最后，在11个真实数据集上的实验结果证明了我们所提框架的有效性。
引用
@article{arxiv.2107.13171,
title = {Learning with Multiclass AUC: Theory and Algorithms},
author = {Zhiyong Yang and Qianqian Xu and Shilong Bao and Xiaochun Cao and Qingming Huang},
journal= {arXiv preprint arXiv:2107.13171},
year = {2021}
}
备注
Accepted by T-PAMI