平衡教师：正则化批归一化模型以增强鲁棒性
机器学习
2022-07-05 v1 计算机视觉与模式识别
摘要
批归一化（BN）是一种 ubiquitous 的训练深度神经网络的技术，可加速其收敛以达到更高准确率。然而，我们证明 BN 存在一个根本缺陷：它促使模型依赖对训练（域内）数据高度特异的低方差特征，损害了在域外样本上的泛化性能。本工作中，我们首先通过展示在多种架构中移除 BN 层会以更高的域内误差为代价带来更低的域外与腐蚀误差，来研究该现象。随后我们提出平衡教师（CT），一种利用无 BN 的同一模型的冻结副本作为教师，通过一致性损失函数大幅调整学生网络权重，以强制其学习鲁棒表示的方法。该正则化信号使 CT 在未知数据偏移中表现良好，即便如先前工作那样没有来自目标域的信息。我们在过参数化线性回归设定下从理论上展示了归一化为何导致模型依赖此类域内特征，并通过在 CIFAR-10-C、CIFAR-100-C 和 VLCS 等鲁棒性基准上优于若干基线，实证证明了 CT 的有效性。
引用
@article{arxiv.2207.01548,
title = {Counterbalancing Teacher: Regularizing Batch Normalized Models for Robustness},
author = {Saeid Asgari Taghanaki and Ali Gholami and Fereshte Khani and Kristy Choi and Linh Tran and Ran Zhang and Aliasghar Khani},
journal= {arXiv preprint arXiv:2207.01548},
year = {2022}
}