通过添加最终批归一化层提升不平衡图像分类任务的模型精度：一项实证研究
计算机视觉与模式识别
2020-11-13 v1 机器学习
摘要
一些现实领域，如农业和医疗健康，包含早期阶段疾病指征，其记录属于罕见事件，然而在该阶段精确检测却至关重要。在这类涵盖复杂特征的高度不平衡分类问题中，由于其强大的检测能力，深度学习（DL）非常必要。同时，实践中观察到 DL 偏向多数类而非少数类，从而难以准确检测目标早期指征。为模拟此类场景，我们人为地对 PlantVillage 数据集中某些植物类型生成偏斜度（99% 对 1%），作为通过迁移学习分类稀缺视觉线索的基础。通过随机且不均衡地选取某些植物类型的健康与不健康样本组成训练集，我们考虑一个基准实验：微调 ResNet34 与 VGG19 架构，随后在健康与不健康图像的平衡数据集上测试模型性能。我们经实证观察到，在 VGG19 的输出层前添加最终批归一化（BN）层后，少数类的初始 F1 测试分数从 0.29 跃升至 0.95。我们证明，在现代 CNN 架构的输出层前使用额外的 BN 层，对于高度不平衡数据集中最小化训练时间与少数类测试误差具有显著影响。此外，当采用最终 BN 层时，最小化损失函数未必是确保此类问题中少数类高 F1 测试分数的最佳方式。即，网络即使预测时置信度不足也可能表现更好；这引发了关于为何 softmax 输出不是 DL 模型良好不确定性度量的进一步讨论。
引用
@article{arxiv.2011.06319,
title = {Improving Model Accuracy for Imbalanced Image Classification Tasks by Adding a Final Batch Normalization Layer: An Empirical Study},
author = {Veysel Kocaman and Ofer M. Shir and Thomas Bäck},
journal= {arXiv preprint arXiv:2011.06319},
year = {2020}
}
备注
Accepted for presentation and inclusion in ICPR 2020, the 25th International Conference on Pattern Recognition