尺度校准训练：通过尺度特异性归一化改进深度网络的泛化能力
计算机视觉与模式识别
2020-09-08 v2 机器学习
摘要
标准卷积神经网络（CNNs）在训练和测试阶段均要求一致的图像分辨率。然而在实践中，为快速推理而使用较小图像尺寸进行测试是必要的。我们表明，在由高分辨率图像训练的网络上直接评估低分辨率图像会导致标准 CNN 架构中准确率的灾难性下降。我们提出一种称为尺度校准训练（SCT）的新训练机制，使网络能同时从多种输入尺度学习。借助 SCT，单一网络在测试时可根据多个测试尺度提供可观的准确率。在我们的分析中，我们惊讶地发现原始批量归一化在 SCT 中会导致次优性能。因此，我们为 SCT 配备了一种称为尺度特异性批量归一化的新归一化方案以替代批量归一化。实验结果表明，当在尺寸为 224 和 128 的图像上测试时，SCT 将单个 ResNet-50 在 ImageNet 上的准确率分别提高了 1.7% 和 11.5%。
引用
@article{arxiv.1909.00182,
title = {Scale Calibrated Training: Improving Generalization of Deep Networks via Scale-Specific Normalization},
author = {Zhuoran Yu and Aojun Zhou and Yukun Ma and Yudian Li and Xiaohan Zhang and Ping Luo},
journal= {arXiv preprint arXiv:1909.00182},
year = {2020}
}
备注
Technical Report