随机白化批归一化
计算机视觉与模式识别
2021-06-09 v1 机器学习
摘要
批归一化（BN）是一种训练深度神经网络（DNNs）的流行技术。BN利用缩放与平移来归一化小批量激活以加速收敛并改善泛化。近期提出的迭代归一化（IterNorm）方法通过使用牛顿法迭代白化激活，改进了这些性质。然而，由于牛顿法在每个训练步独立初始化白化矩阵，连续步之间不共享信息。本工作中，我们不在每个时间步精确计算白化矩阵，而是利用提出的随机白化批归一化（SWBN）算法，以在线方式在训练过程中逐步估计它。我们表明，SWBN在提升DNN收敛率与泛化的同时，其计算开销小于IterNorm。由于所提方法的高效性，它可轻易用于具有大量层的多数DNN架构中。我们提供了BN、IterNorm与SWBN层的综合实验与比较，以展示所提技术在常规（多样本）图像分类与少样本分类任务中的有效性。
引用
@article{arxiv.2106.04413,
title = {Stochastic Whitening Batch Normalization},
author = {Shengdong Zhang and Ehsan Nezhadarya and Homa Fashandi and Jiayi Liu and Darin Graham and Mohak Shah},
journal= {arXiv preprint arXiv:2106.04413},
year = {2021}
}
备注
Accepted to the Main Conference of CVPR 2021