用于 AUC 最大化的方差缩减随机近端算法
机器学习
2020-12-07 v2 机器学习
摘要
随机梯度下降在以分类准确率作为性能指标时已被广泛研究。然而，当使用不可分解的成对性能指标（如类别不平衡时常用的 ROC 曲线下面积 (AUC)）时，这些随机算法无法直接应用。已有若干以 AUC 为性能指标的优化算法被提出，其中较新的一种是随机近端梯度算法 (SPAM)。但随机方法的缺陷在于方差大导致收敛慢。为应对该问题，已有若干方差缩减方法被提出，其收敛性保证优于朴素随机梯度下降。同样，这些方差缩减方法在不可分解性能指标下也无法直接应用。本文中，我们提出了用于 AUC 最大化的方差缩减随机近端算法 (\textsc{VRSPAM})，并进行了理论分析与实证分析，表明我们的算法比此前 AUC 最大化问题上的 SOTA 方法 SPAM 收敛更快。
引用
@article{arxiv.1911.03548,
title = {Variance Reduced Stochastic Proximal Algorithm for AUC Maximization},
author = {Soham Dan and Dushyant Sahoo},
journal= {arXiv preprint arXiv:1911.03548},
year = {2020}
}