深度AUROC优化基准测试:损失函数与算法选择
机器学习
2022-07-06 v3 人工智能
摘要
ROC曲线下面积(AUROC)已被 vigorously 应用于不平衡分类,并且与深度学习技术相结合。然而,目前尚无现有工作为同行选择合适的深度AUROC最大化技术提供可靠信息。本工作中,我们从三个方面填补这一空白。(i) 我们对深度AUROC优化问题中具有不同算法选择的多种损失函数进行基准测试。我们将损失函数分为两类研究:成对损失和复合损失,共包含10种损失函数。有趣的是,我们发现复合损失作为一类创新性损失函数,在训练收敛和测试泛化两方面均展现出比成对损失更具竞争力的性能。尽管如此,具有更多损坏标签的数据倾向于使用成对对称损失。(ii) 此外,我们对正采样率、正则化、归一化/激活和优化器等关键算法选择进行基准测试并强调其重要性。关键发现包括:较高的正采样率可能有利于深度AUROC最大化;不同数据集偏好不同权重的正则化;适当的归一化技术,如sigmoid和分数归一化,可提升模型性能。(iii) 在优化方面,我们对成对损失和复合损失的SGD型、Momentum型和Adam型优化器进行基准测试。我们的发现表明,尽管Adam型方法从训练视角更具竞争力,但从测试视角并未超越其他方法。
引用
@article{arxiv.2203.14177,
title = {Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices},
author = {Dixian Zhu and Xiaodong Wu and Tianbao Yang},
journal= {arXiv preprint arXiv:2203.14177},
year = {2022}
}
备注
32 pages