类增量学习中批归一化的诊断分析
机器学习
2022-02-17 v1 计算机视觉与模式识别
摘要
大量研究已将深度神经网络(DNNs)应用于类增量学习(Class-IL)。作为 DNNs 的构建模块,批归一化(BN)对中间特征图进行标准化,并已被广泛验证可改善训练稳定性与收敛性。然而,我们指出在 Class-IL 模型中直接使用标准 BN 对表示学习与分类器训练均有害,从而加剧了灾难性遗忘。本文通过阐明此类 BN 困境,研究 BN 对 Class-IL 模型的影响。我们进一步提出 BN Tricks,通过训练更好的特征提取器同时消除分类偏差来解决该问题。在不引入额外超参数的情况下,我们将 BN Tricks 应用于三种基于回放的基线方法 ER、DER++ 和 iCaRL。通过在 Seq-CIFAR-10、Seq-CIFAR-100 和 Seq-Tiny-ImageNet 基准数据集上的综合实验,我们表明 BN Tricks 能为所有采用的基线带来显著性能提升,揭示了其在该研究方向上的潜在通用性。
引用
@article{arxiv.2202.08025,
title = {Diagnosing Batch Normalization in Class Incremental Learning},
author = {Minghao Zhou and Quanziang Wang and Jun Shu and Qian Zhao and Deyu Meng},
journal= {arXiv preprint arXiv:2202.08025},
year = {2022}
}