当 AUC 遇见 DRO：以非凸收敛保证优化深度学习中的部分 AUC
机器学习
2023-09-19 v5 最优化与控制
机器学习
摘要
本文中，我们提出系统且高效的基于梯度的方法，用于适用于深度学习的一类与二类部分 AUC（pAUC）最大化。我们利用分布鲁棒优化（DRO）为每个正类数据定义损失，提出 pAUC 替代目标的新表述。我们考虑两种 DRO 表述，其一基于条件风险价值（CVaR），可得到非光滑但精确的 pAUC 估计器；另一基于 KL 散度正则化 DRO，可得到不精确但光滑（软）的 pAUC 估计器。针对一类与二类 pAUC 最大化，我们分别提出两种算法并证明它们对其两种表述优化的收敛性。实验证明了所提算法在多个数据集上用于深度学习 pAUC 最大化的有效性。
引用
@article{arxiv.2203.00176,
title = {When AUC meets DRO: Optimizing Partial AUC for Deep Learning with Non-Convex Convergence Guarantee},
author = {Dixian Zhu and Gang Li and Bokun Wang and Xiaodong Wu and Tianbao Yang},
journal= {arXiv preprint arXiv:2203.00176},
year = {2023}
}
备注
25 pages