面向长尾识别的批量归一化规范化
计算机视觉与模式识别
2025-01-07 v1
摘要
在现实场景中,各类别的训练样本数量通常服从长尾分布。常规训练的网络在稀有类别上的性能可能比在频繁类别上的性能差,且这种劣势出乎意料地显著。以往的大多数工作试图从数据层面或分类器层面来纠正网络的偏差。与此不同,在本文中,我们发现对频繁类别的偏差可能被编码进特征中,即在区分稀有类别中起关键作用的稀有类别专属特征远弱于频繁类别专属特征。基于这一观察,我们引入了一种简单而有效的方法,即对批量归一化(BN)层的参数进行规范化,以显式地纠正特征偏差。为此,我们将 BN 层的 Weight/Bias 参数表示为一个向量,将其归一化为单位向量,并将该单位向量乘以一个可学习的标量参数。通过解耦 BN 层参数中方向与幅值的学习,Weight/Bias 呈现出更为均衡的分布,从而使特征的强度变得更加均匀。在多个长尾识别基准(即 CIFAR-10/100-LT、ImageNet-LT 和 iNaturalist 2018)上的大量实验表明,我们的方法显著优于以往的最先进方法。代码和检查点可在 https://github.com/yuxiangbao/NBN 获取。
引用
@article{arxiv.2501.03122,
title = {Normalizing Batch Normalization for Long-Tailed Recognition},
author = {Yuxiang Bao and Guoliang Kang and Linlin Yang and Xiaoyue Duan and Bo Zhao and Baochang Zhang},
journal= {arXiv preprint arXiv:2501.03122},
year = {2025}
}