统一批归一化:识别并缓解批归一化中的特征凝聚及统一框架
计算机视觉与模式识别
2024-03-11 v2 人工智能
摘要
批归一化(Batch Normalization, BN)已成为当代神经网络设计中的一项关键技术,可增强训练稳定性。具体而言,BN沿批次维度采用中心化与缩放操作来标准化特征,并利用仿射变换恢复特征。尽管标准BN已展现出提升深度神经网络训练与收敛的能力,但在某些情况下仍表现出固有局限。当前对BN的改进通常仅针对其机制的孤立方面。本工作中,我们从特征视角批判性地审视BN,将BN过程中的特征凝聚识别为损害测试性能的因素。为解决该问题,我们提出称为统一批归一化(Unified Batch Normalization, UBN)的两阶段统一框架。第一阶段,我们采用简单的特征凝聚阈值来缓解凝聚效应,从而防止统计范数的不当更新。第二阶段,我们统一多种归一化变体以增强BN的各组成部分。实验结果表明,UBN在不同视觉骨干网络与不同视觉任务上均显著提升性能,并明显加快网络训练收敛,尤其在训练早期阶段。值得注意的是,我们的方法在ImageNet分类上准确率提升约3%,在COCO数据集的目标检测与实例分割上平均精度均值提升4%,显示了该方法在真实场景中的有效性。
引用
@article{arxiv.2311.15993,
title = {Unified Batch Normalization: Identifying and Alleviating the Feature Condensation in Batch Normalization and a Unified Framework},
author = {Shaobo Wang and Xiangdong Zhang and Dongrui Liu and Junchi Yan},
journal= {arXiv preprint arXiv:2311.15993},
year = {2024}
}