BCN：用于图像分类的批通道归一化
计算机视觉与模式识别
2023-12-04 v1 人工智能
摘要
归一化技术因能够提高学习率且对初始化要求较低，在深度学习领域已被广泛使用。然而，主流归一化技术的有效性通常局限于特定领域。与标准的批归一化（BN）和层归一化（LN）不同——BN 沿 (N,H,W) 维度计算均值和方差，LN 沿 (C,H,W) 维度计算均值和方差（N、C、H、W 分别为批、通道、空间高度和宽度维度）——本文提出一种称为批通道归一化（BCN）的新型归一化技术。为了利用通道与批的依赖关系，并基于特定数据集或任务自适应地结合 BN 与 LN 的优势，BCN 分别沿 (N, H, W) 和 (C, H, W) 轴对输入进行归一化，然后基于自适应参数将归一化输出进行组合。作为一个基础模块，BCN 可轻松集成到现有模型中，用于计算机视觉领域的各种应用。实证结果表明，该技术可无缝应用于各种版本的 CNN 或 Vision Transformer 架构。代码已公开于 https://github.com/AfifaKhaled/BatchChannel-Normalization。
引用
@article{arxiv.2312.00596,
title = {BCN: Batch Channel Normalization for Image Classification},
author = {Afifa Khaled and Chao Li and Jia Ning and Kun He},
journal= {arXiv preprint arXiv:2312.00596},
year = {2023}
}