实例增强批归一化：一种批噪声的自适应调节器
机器学习
2019-09-19 v2 计算机视觉与模式识别
机器学习
摘要
批归一化（BN）（Ioffe and Szegedy 2015）通过一批图像的统计量来归一化输入图像的特征，因此 BN 会给训练损失的梯度带来噪声。已有工作表明，该噪声对深度神经网络的优化与泛化十分重要，但过多噪声会损害网络性能。本文提出一个新视角：自注意力机制可通过增强实例特定信息来调节噪声，从而获得更好的正则化效果。因此，我们提出一种基于注意力的 BN，称为实例增强批归一化（IEBN），它通过简单的线性变换来重新校准各通道的信息。IEBN 具有良好的调节噪声与稳定网络训练的能力，即使在训练期间存在两类噪声攻击时也能改善泛化。最终，在不同网络结构与基准数据集的图像分类任务中，IEBN 仅以轻微的参数增量便优于 BN。
引用
@article{arxiv.1908.04008,
title = {Instance Enhancement Batch Normalization: an Adaptive Regulator of Batch Noise},
author = {Senwei Liang and Zhongzhan Huang and Mingfu Liang and Haizhao Yang},
journal= {arXiv preprint arXiv:1908.04008},
year = {2019}
}