复兴阈值移动:一种用于二元与多类不平衡数据的简单即插即用 Bagging 集成方法
机器学习
2017-06-21 v3 应用统计
机器学习
摘要
类别不平衡是应用数据挖掘方法时面临的一大障碍。处理该问题的常见做法是构建从重采样的平衡数据中学习的分类器集成。例如,结合了随机欠采样(RUS)或合成少数类过采样技术(SMOTE)的 bagging 决策树。然而,大多数重采样方法对不同类别的样本进行了非对称更改,这反过来会在模型中引入其自身的偏差。此外,这些方法要求在学习之前先验地指定性能度量。另一种替代方法是使用所谓的阈值移动方法,它后验地改变模型的决策阈值以抵消不平衡,从而具有适应所关注性能度量的潜力。令人惊讶的是,很少有人关注将 bagging 集成与阈值移动相结合的潜力。在本文中,我们提出了概率阈值 bagging(PT-bagging),这是一种填补了这一空白的通用即插即用方法。与通常的重平衡做法相反,我们的方法保留了数据的自然类别分布,从而产生了校准良好的后验概率。我们还将所提出的方法扩展到处理多类数据。该方法在二元和多类基准数据集上得到了验证。我们进行了分析,为所提出的方法提供了深刻见解。
引用
@article{arxiv.1606.08698,
title = {Reviving Threshold-Moving: a Simple Plug-in Bagging Ensemble for Binary and Multiclass Imbalanced Data},
author = {Guillem Collell and Drazen Prelec and Kaustubh Patil},
journal= {arXiv preprint arXiv:1606.08698},
year = {2017}
}
备注
Typo in the proof fixed. TP/(P+N)=P(y=1) replaced by P/(P+N)=P(y=1)