MimicNorm：权重均值与末层BN层模拟批归一化的动态
机器学习
2024-10-30 v3 人工智能
计算机视觉与模式识别
摘要
大量实验已验证批归一化（BN）层在有益于收敛与泛化方面的成功。然而，BN需要额外内存与浮点计算。此外，BN在微小批量上会不准确，因其依赖于批量统计。本文中，我们通过简化BN正则化同时保留BN层的两个基本影响（即数据解相关与自适应学习率）来解决这些问题。我们提出一种新颖归一化方法，名为MimicNorm，以改进网络训练中的收敛与效率。MimicNorm仅由两项轻量操作组成，包括修正的权重均值操作（从权重参数张量中减去均值）以及损失函数前的一个BN层（末层BN层）。我们利用神经正切核（NTK）理论证明，我们的权重均值操作白化激活并将网络转入如同BN层般的混沌态，从而带来增强的收敛。末层BN层提供自动调节的学习率并提升精度。实验结果表明，MimicNorm对各种网络结构（包括ResNets与如ShuffleNet的轻量网络）取得相似精度，且内存消耗减少约20%。代码公开于 https://github.com/Kid-key/MimicNorm。
引用
@article{arxiv.2010.09278,
title = {MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization},
author = {Wen Fei and Wenrui Dai and Chenglin Li and Junni Zou and Hongkai Xiong},
journal= {arXiv preprint arXiv:2010.09278},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication