用于自监督与半监督学习的指数移动平均归一化
机器学习
2021-06-21 v2 人工智能
计算机视觉与模式识别
摘要
我们提出了一种批归一化（BN）的即插即用替代方法，称为指数移动平均归一化（EMAN），它提升了现有基于师生架构的自监督和半监督学习技术的性能。与在标准 BN 中统计量在每个批次内计算不同，用于教师网络的 EMAN 通过学生网络 BN 统计量的指数移动平均来更新其统计量。该设计降低了 BN 固有的跨样本依赖，并增强了教师的泛化能力。当 ImageNet 上可用 1%/10% 的监督标签时，EMAN 将自监督学习的强基线提升了 4-6/1-2 个百分点，将半监督学习提升了约 7/2 个百分点。这些改进在方法、网络架构、训练时长和数据集上均保持一致，证明了该技术的普遍有效性。代码可在 https://github.com/amazon-research/exponential-moving-average-normalization 获取。
引用
@article{arxiv.2101.08482,
title = {Exponential Moving Average Normalization for Self-supervised and Semi-supervised Learning},
author = {Zhaowei Cai and Avinash Ravichandran and Subhransu Maji and Charless Fowlkes and Zhuowen Tu and Stefano Soatto},
journal= {arXiv preprint arXiv:2101.08482},
year = {2021}
}
备注
accepted by CVPR21 as Oral presentation