重新审视 Ghost 归一化
计算机视觉与模式识别
2020-07-20 v1
摘要
批归一化（BatchNorm）是一种有效但理解甚少神经网络优化技术。通常认为 BatchNorm 性能在较小批量尺寸下下降源于其不得不使用较小样本量估计层统计量。然而，最近 Ghost 归一化（GhostNorm）——一种显式使用较小样本量进行归一化的 BatchNorm 变体——被证明在某些数据集上优于 BatchNorm。我们的贡献为：（i）我们揭示了 GhostNorm 特有的、并非简单从 BatchNorm 扩展而来的正则化来源；（ii）描述了三类 GhostNorm 实现，其中两类以 BatchNorm 作为底层归一化技术；（iii）通过可视化 GhostNorm 的损失景观，我们观察到与 BatchNorm 相比 GhostNorm 持续降低平滑性；（iv）我们引入序列归一化（SeqNorm），并在 CIFAR-10 和 CIFAR-100 数据集上报告了优于最先进方法的性能。
引用
@article{arxiv.2007.08554,
title = {A New Look at Ghost Normalization},
author = {Neofytos Dimitriou and Ognjen Arandjelovic},
journal= {arXiv preprint arXiv:2007.08554},
year = {2020}
}