面向AUC最大化的平衡自步学习
机器学习
2022-07-11 v1 人工智能
摘要
提升AUC性能的学习是机器学习中的重要课题。然而，由于数据含噪，AUC最大化算法可能降低泛化性能。自步学习是处理含噪数据的有效方法。然而，现有自步学习方法局限于逐点学习，而AUC最大化是一个成对学习问题。为解决这一挑战性问题，我们创新性地提出一种平衡自步AUC最大化算法（BSPAUC）。具体而言，我们首先给出自步AUC的统计目标。在此基础上，提出我们的自步AUC最大化形式化表述，其中嵌入了一种新颖的平衡自步正则项，以确保所选正负样本具有恰当比例。特别地，在我们表述中关于所有权重变量的子问题可能非凸，而该子问题在现有自步问题中通常为凸。为此，我们提出一种双重循环块坐标下降法。更重要的是，我们基于闭式解证明了关于所有权重变量的子问题收敛至驻点，并且在温和假设下我们的BSPAUC收敛至固定优化目标的驻点。兼顾深度学习与基于核的实现，在多个大规模数据集上的实验结果表明，我们的BSPAUC比现有最先进的AUC最大化方法具有更好的泛化性能。
引用
@article{arxiv.2207.03650,
title = {Balanced Self-Paced Learning for AUC Maximization},
author = {Bin Gu and Chenkang Zhang and Huan Xiong and Heng Huang},
journal= {arXiv preprint arXiv:2207.03650},
year = {2022}
}