实例级元归一化
机器学习
2019-04-09 v1 计算机视觉与模式识别
机器学习
摘要
本文提出一种称为实例级元归一化（ILM~Norm）的归一化机制，以解决学习归一化问题。ILM~Norm 通过特征前馈与梯度反向传播两条路径学习预测归一化参数。ILM~Norm 提供一种元归一化机制并具有若干良好性质。它可轻松插入现有实例级归一化方案，如实例归一化、层归一化或组归一化。ILM~Norm 对每个实例单独归一化，因此即便使用小 mini-batch 也保持高性能。实验结果表明 ILM~Norm 能很好适应不同网络架构与任务，并一致提升原始模型的性能。代码见 url{https://github.com/Gasoonjia/ILM-Norm。
引用
@article{arxiv.1904.03516,
title = {Instance-Level Meta Normalization},
author = {Songhao Jia and Ding-Jie Chen and Hwann-Tzong Chen},
journal= {arXiv preprint arXiv:1904.03516},
year = {2019}
}