滤波响应归一化层：消除深度神经网络训练中的批依赖
机器学习
2020-04-02 v2 计算机视觉与模式识别
机器学习
摘要
批归一化（BN）在训练期间使用小批量统计来归一化激活，引入了小批量元素间的依赖关系。若小批量尺寸过小或元素间相关，这种依赖会损害性能。已有若干替代方案如批重归一化（Batch Renormalization）和组归一化（GN）被提出以解决此问题。然而，它们要么在大批量下无法匹配BN性能，要么在更小批量下仍表现出性能退化，要么对模型架构引入人为约束。本文中我们提出滤波响应归一化（FRN）层，一种归一化与激活函数的新颖组合，可用作其他归一化与激活的替代。我们的方法独立地作用于每个批量元素的每个激活通道，消除了对其他批量元素的依赖。我们的方法在各种设置下对所有批量尺寸均优于BN及其他替代方案。在使用InceptionV3和ResnetV2-50架构的Imagenet分类中，FRN层在大型小批量尺寸下比BN在top-1验证准确率上高出约。此外，在相同问题的小批量尺寸情形下，它比GN高出。在COCO数据集上的目标检测问题中，FRN层在所有批量尺寸情形下均以至少的优势超越所有其他方法。
引用
@article{arxiv.1911.09737,
title = {Filter Response Normalization Layer: Eliminating Batch Dependence in the Training of Deep Neural Networks},
author = {Saurabh Singh and Shankar Krishnan},
journal= {arXiv preprint arXiv:1911.09737},
year = {2020}
}