基于约束优化训练神经网络以关注关键且代表性不足的类别
机器学习
2022-01-06 v4 人工智能
摘要
深度神经网络(DNNs)以在训练时对其他类别样本量明显更少的类别犯更多错误而著称。此类类别不平衡在临床应用中无处不在且非常关键,因为样本较少的类别往往对应关键病例(如癌症),其误分类可能带来严重后果。为不漏掉此类病例,二分类器需要通过设置更高阈值以高真阳性率(TPRs)运行,但这在以类别不平衡为特点的问题中会以极高的假阳性率(FPRs)为代价。现有针对类别不平衡的学习方法大多未考虑这一点。我们认为,对于正类(即关键类)样本误分类代价更高的问题,应通过优先在高 TPR 下降低 FPR 来强调提升预测准确率。为此,我们将二分类 DNN 的训练构建为约束优化问题,并引入一种可与现有损失函数结合使用的新约束,以通过优先在高 TPR 下降低 FPR 来强制实现最大 ROC 曲线下面积(AUC)。我们使用增广拉格朗日法(ALM)求解所得约束优化问题。超越二分类,我们还提出了所提约束在多分类问题上的两种可能扩展。我们使用内部医学影像数据集、CIFAR10 和 CIFAR100 给出了基于图像的二分类与多分类应用实验结果。结果表明,所提方法在多数情况下通过在对关键类取得更高准确率的同时降低非关键类样本误分类率,改进了基线方法。
引用
@article{arxiv.2102.12894,
title = {Constrained Optimization to Train Neural Networks on Critical and Under-Represented Classes},
author = {Sara Sangalli and Ertunc Erdil and Andreas Hoetker and Olivio Donati and Ender Konukoglu},
journal= {arXiv preprint arXiv:2102.12894},
year = {2022}
}
备注
Accepted to the 35th Conference on Neural Information Processing Systems (NeurIPS 2021)