关于 AUC 成对优化的一致性
机器学习
2020-07-07 v4 机器学习
摘要
AUC（ROC 曲线下面积）是一个重要的评估准则，已广泛应用于类别不平衡学习、代价敏感学习、排序学习等多种学习任务中。许多学习方法试图优化 AUC，但由于 AUC 的非凸性和不连续性，几乎所有方法都使用代理损失函数。因此，AUC 的一致性至关重要，然而此前几乎未被触及。在本文中，我们提供了基于代理损失函数的学习方法渐近一致性的充分条件。基于此结果，我们证明了指数损失和逻辑损失与 AUC 一致，而合页损失不一致。随后，我们推导出了与 AUC 一致的 -范数合页损失和广义合页损失。我们还推导了指数损失和逻辑损失的一致性界，并在无噪声设定下获得了许多代理损失函数的一致性界。此外，我们揭示了 AUC 的指数代理损失与准确率的指数代理损失之间的等价关系，这一发现的一个直接推论是 AdaBoost 和 RankBoost 是等价的。
引用
@article{arxiv.1208.0645,
title = {On the Consistency of AUC Pairwise Optimization},
author = {Wei Gao and Zhi-Hua Zhou},
journal= {arXiv preprint arXiv:1208.0645},
year = {2020}
}