面向稀疏高维数据集的在线 AUC 优化

ROC 曲线下面积（AUC）是许多存在大量高维稀疏数据的应用领域中所出现的类别不平衡分类的广泛使用的性能指标。在此类情况下，每个 $d$ 维样本仅有 $k$ 个非零特征且 $k \ll d$，并且数据以流形式顺序到达。当前的在线 AUC 优化算法具有 $\mathcal{O}(d)$ 的高每次迭代代价，且通常一般产生非稀疏解，因此不适合处理上述数据挑战。本文中，我们旨在在线学习设定下直接优化高维稀疏数据集的 AUC 分数，并提出一种新算法 \textsc{FTRL-AUC}。我们所提算法能以在线方式处理数据，且具有低得多的每次迭代代价 $\mathcal{O}(k)$，使其适用于高维稀疏流数据分析。我们新的算法设计关键依赖于将 U-统计量 AUC 目标函数新颖地重构为经验鞍点重构，以及创新地引入“惰性更新”规则，从而将每次迭代复杂度从 $\mathcal{O}(d)$ 大幅降至 $\mathcal{O}(k)$。此外，\textsc{FTRL-AUC} 通过应用广义 Follow-The-Regularized-Leader（FTRL）框架能更有效地固有捕获稀疏性。在真实世界数据集上的实验表明，与最先进方法相比，\textsc{FTRL-AUC} 在显著改善运行时间与模型稀疏性的同时取得了有竞争力的 AUC 分数。与针对 logistic 损失的在线学习方法比较表明，\textsc{FTRL-AUC} 在数据集不平衡时尤其取得了更高的 AUC 分数。