动量加速随机 AUPRC 最大化的收敛

本文研究精度-召回曲线下面积(AUPRC)的随机优化,该度量广泛用于应对不平衡分类任务。尽管已有一些方法被提出用于最大化 AUPRC,但具有收敛保证的 AUPRC 随机优化仍属未充分开发的领域。寻找 $\epsilon$-平稳解的最先进复杂度为 $O(1/\epsilon^5)$。本文通过以下方式进一步改进 AURPC 的随机优化:(i) 提出新颖的随机动量方法,寻找 $\epsilon$-平稳解的迭代复杂度提升至 $O(1/\epsilon^4)$;(ii) 设计一类具有相同迭代复杂度的新颖随机自适应方法,其在实践中收敛更快。为此,我们提出两项对改善收敛至关重要的创新技术:(i) 以随机坐标方式更新用于跟踪个体排序分数的有偏估计量;(ii) 在用于跟踪目标梯度的随机梯度估计量之上使用动量更新。对 Adam 风格更新的新颖分析也是主要贡献之一。在多个数据集上的大量实验证明了所提算法的有效性。作为独立兴趣点,所提随机动量与自适应算法也适用于一类两级随机依赖复合优化问题。