不平衡深度学习中特征偏移的识别与补偿
机器学习
2022-07-12 v4 计算机视觉与模式识别
机器学习
摘要
已知使用类不平衡数据训练的分类器在“少数”类的测试数据上表现不佳，而我们对少数类训练数据不足。本文中，我们研究在此类场景下学习 ConvNet 分类器。我们发现 ConvNet 显著过拟合少数类，这与传统机器学习算法常欠拟合少数类截然相反。我们进行了一系列分析并发现了特征偏移现象——所学 ConvNet 在少数类的训练与测试数据间生成偏移的特征——其解释了过拟合如何发生。为补偿将测试数据推向低决策值区域的特征偏移效应，我们提出在训练 ConvNet 时引入类依赖温度(CDT)。CDT 在训练阶段模拟特征偏移，迫使 ConvNet 增大少数类数据的决策值，从而能在测试阶段克服真实特征偏移。我们在基准数据集上验证了方法并取得有前景的性能。我们希望我们的见解能启发解决类不平衡深度学习的新思路。
引用
@article{arxiv.2001.01385,
title = {Identifying and Compensating for Feature Deviation in Imbalanced Deep Learning},
author = {Han-Jia Ye and Hong-You Chen and De-Chuan Zhan and Wei-Lun Chao},
journal= {arXiv preprint arXiv:2001.01385},
year = {2022}
}