EvalNorm：估计用于评估的批归一化统计量
计算机视觉与模式识别
2019-08-15 v2 机器学习
摘要
批归一化（BN）对深度学习非常有效且被广泛使用。然而，当使用小 minibatch 进行训练时，采用 BN 的模型表现出显著的性能下降。在本文中，我们研究了 BN 的这种特殊行为以更好地理解该问题，并确定了其原因。我们提出“EvalNorm”来解决该问题，方法是通过估计修正后的归一化统计量，以在评估期间用于 BN。EvalNorm 支持在模型训练期间在线估计修正后的统计量，且不影响模型的训练方案。因此，EvalNorm 也可用于现有的预训练模型，使其能够从我们的方法中受益。对于使用较小批次训练的模型，EvalNorm 带来了巨大的收益。我们的实验表明，在 ImageNet 验证集上，当批次大小为 2 时，EvalNorm 比原始 BN 的绝对性能高出 6.18%，并且在 COCO 目标检测基准测试的各种设置下获得了 1.5 到 7.0 个百分点（绝对值）的提升。
引用
@article{arxiv.1904.06031,
title = {EvalNorm: Estimating Batch Normalization Statistics for Evaluation},
author = {Saurabh Singh and Abhinav Shrivastava},
journal= {arXiv preprint arXiv:1904.06031},
year = {2019}
}
备注
Accepted at ICCV 2019