监督式批量归一化
机器学习
2024-05-28 v1
摘要
批量归一化（Batch Normalization, BN）是神经网络中广泛使用的技术，通过对每个小批次归一化到相同的均值和方差来增强泛化并加速训练。然而，其有效性在面对多样化的数据分布时会下降。为此，我们提出了监督式批量归一化（Supervised Batch Normalization, SBN），这是一种开创性方法。我们扩展了归一化，不仅限于传统的单个均值和方差参数，使能够在训练前识别数据模式，从而确保对具有相同特征的样本实现有效归一化。我们将上下文定义为模式，通过域自适应中的域、多模态系统中的模态，或通过基于数据相似性的聚类算法隐式定义的上下文来对数据进行分类。我们通过在单个和多任务数据集上的各种实验，展示了我们方法优于BN和其他常用归一化技术。将SBN与Vision Transformer集成后，在CIFAR-100上的准确率提升了惊人的 \textit{15.13}\%。此外，在域自适应场景中，采用AdaMatch相较于BN在MNIST和SVHN上的准确率提升了 impressive \textit{22.25}\%。
引用
@article{arxiv.2405.17027,
title = {Supervised Batch Normalization},
author = {Bilal Faye and Mustapha Lebbah and Hanane Azzag},
journal= {arXiv preprint arXiv:2405.17027},
year = {2024}
}