代理归一化激活以匹配批归一化同时消除批依赖
机器学习
2022-04-05 v6 计算机视觉与模式识别
机器学习
摘要
我们研究了批无关归一化导致性能退化的原因。我们发现层归一化与实例归一化这两种典型技术都会在神经网络的预激活中诱发失效模式的出现：(i) 层归一化诱发向通道恒定函数的坍缩；(ii) 实例归一化诱发实例统计中可变性的缺乏，这是表达能力改变的症状。为缓解失效模式(i)而不加剧失效模式(ii)，我们引入“代理归一化”(Proxy Normalization)技术，其使用代理分布对激活后值进行归一化。当与层归一化或组归一化结合时，这种批无关归一化模拟了批归一化的行为，并持续匹配或超越其性能。
引用
@article{arxiv.2106.03743,
title = {Proxy-Normalizing Activations to Match Batch Normalization while Removing Batch Dependence},
author = {Antoine Labatie and Dominic Masters and Zach Eaton-Rosen and Carlo Luschi},
journal= {arXiv preprint arXiv:2106.03743},
year = {2022}
}
备注
NeurIPS 2021 camera-ready