测试时批归一化
机器学习
2022-05-23 v1 计算机视觉与模式识别
摘要
深度神经网络常受训练与测试间数据分布偏移的困扰，且观测到批统计量反映了该偏移。本文旨在缓解测试时的分布偏移，重新审视训练过程中的批归一化（BN），并揭示了有益于测试时优化的两个关键见解： 保持与训练相同的梯度反向传播形式，以及 使用数据集级统计量进行鲁棒优化与推断。基于这两点见解，我们提出了一种新颖的测试时BN层设计——GpreBN，它在测试期间通过最小化熵损失进行优化。我们在两种具有分布偏移的典型设定（即域泛化与鲁棒性任务）上验证了方法的有效性。我们的GpreBN显著提升了测试时性能，并取得了最先进（state of the art）的结果。
引用
@article{arxiv.2205.10210,
title = {Test-time Batch Normalization},
author = {Tao Yang and Shenglong Zhou and Yuwang Wang and Yan Lu and Nanning Zheng},
journal= {arXiv preprint arXiv:2205.10210},
year = {2022}
}