最终批归一化层的不合理有效性
计算机视觉与模式识别
2021-09-21 v1 人工智能
摘要
在农业与医疗等现实领域,早期阶段疾病指征很少被记录,然而其准确识别在彼时至关重要。在这类涵盖复杂特征的高度不平衡分类问题中,深度学习(DL)因其强大的检测能力而非常必要。同时,实践中观察到 DL 偏向多数类而非少数类,从而难以准确检测目标早期指征。本工作扩展了 Kocaman 等人 2020 年的研究,表明置于 softmax 输出层之前的最终 BN 层,在高度不平衡图像分类问题中具有显著影响,并削弱了 softmax 输出作为不确定性度量的作用。当前研究探讨额外假设并报告如下发现:(i) 在高度不平衡设定下,添加最终 BN 层后的性能提升,可在推理时移除该额外 BN 层后仍被取得;(ii) 存在某一不平衡比的阈值,超过该值最终 BN 层带来的提升达到峰值;(iii) 批大小也起作用并影响最终 BN 应用的结果;(iv) BN 应用的影响在其他数据集及使用更简神经网络架构时亦可复现;(v) 所报告的 BN 效应仅出现于单一多数类与多个少数类的情况,即存在两个多数类时无明显改善;最后,(vi) 在强不平衡图像分类任务中,将该 BN 层与 sigmoid 激活函数配合使用几乎无影响。
引用
@article{arxiv.2109.09016,
title = {The Unreasonable Effectiveness of the Final Batch Normalization Layer},
author = {Veysel Kocaman and Ofer M. Shir and Thomas Baeck},
journal= {arXiv preprint arXiv:2109.09016},
year = {2021}
}
备注
Accepted for the 16th International Symposium on Visual Computing (ISVC 2021). arXiv admin note: substantial text overlap with arXiv:2011.06319