可扩展的非线性 AUC 最大化方法
机器学习
2019-04-30 v4
摘要
ROC 曲线下面积（AUC）是各种机器学习和数据挖掘应用中备受关注的度量指标。它被广泛用于评估在严重不平衡数据上的分类性能。由于能够对大多数真实世界数据背后的复杂非线性结构进行建模，核化 AUC 最大化机相比线性 AUC 机展现出了更优越的泛化能力。然而，高昂的训练复杂度使得核化 AUC 机无法应用于大规模数据。在本文中，我们提出了两种非线性 AUC 最大化算法，它们通过 k-means Nyström 方法构建的有限维特征空间来优化成对线性分类器。我们的第一种算法利用截断牛顿法优化成对平方铰链损失函数来最大化 AUC 指标。然而，对于极大规模数据集，这种二阶批量 AUC 最大化方法的优化成本变得十分高昂。这促使我们开发了一种一阶随机 AUC 最大化算法，该算法结合了调度正则化更新和调度平均技术以加速分类器的收敛。在多个基准数据集上的实验表明，所提出的 AUC 分类器比核化 AUC 机更高效，同时能够超越或至少匹配核化 AUC 机的 AUC 性能。实验还表明，所提出的随机 AUC 分类器在 AUC 分类精度方面优于 SOTA 在线 AUC 最大化方法。
引用
@article{arxiv.1710.00760,
title = {Scalable Nonlinear AUC Maximization Methods},
author = {Majdi Khalid and Indrakshi Ray and Hamidreza Chitsaz},
journal= {arXiv preprint arXiv:1710.00760},
year = {2019}
}