用于学习深度表示的样本归一化
计算机视觉与模式识别
2020-03-23 v2
摘要
归一化技术在不同的先进神经网络与不同任务中十分重要。本工作通过提出样本归一化(EN)研究了一种新颖的动态学习归一化(L2N)问题，其能够为深度网络的不同卷积层与不同图像样本学习不同的归一化方法。EN显著提升了近期提出的可切换归一化(SN)的灵活性，SN通过在每个归一化层线性组合若干归一化器来解决静态L2N问题（该组合对所有样本相同）。与条件批归一化(cBN)直接采用多层感知机(MLP)学习数据相关参数不同，EN的内部结构经过精心设计并稳定其优化，带来诸多可取优势。(1) EN使不同卷积层、图像样本、类别、基准与任务可使用不同归一化方法，为以整体视角分析它们提供启示。(2) EN对多种网络架构与任务均有效。(3) 其可替换深度网络中任意归一化层并仍产生稳定模型训练。大量实验证明了EN在图像识别、噪声标签学习和语义分割等广泛任务中的有效性。例如，在普通ResNet50中替换BN，EN在ImageNet与噪声WebVision数据集上产生的提升比SN多300%。
引用
@article{arxiv.2003.08761,
title = {Exemplar Normalization for Learning Deep Representation},
author = {Ruimao Zhang and Zhanglin Peng and Lingyun Wu and Zhen Li and Ping Luo},
journal= {arXiv preprint arXiv:2003.08761},
year = {2020}
}
备注
Accepted by CVPR2020, normalization methods, image classification