流式归一化：迈向更简单且更具生物合理性的在线与循环学习归一化方法
机器学习
2016-10-20 v1 神经与进化计算
摘要
我们系统地探索了一系列与 Batch Normalization (BN) 相关的归一化算法，并提出了一种广义公式，同时解决了 BN 的两个主要局限性：(1) 在线学习和 (2) 循环学习。我们的提议更简单且更具生物合理性。与以往的方法不同，我们的技术可以直接应用于所有学习场景（例如在线学习、批学习、全连接、卷积、前馈、循环以及混合——循环与卷积），并且表现优于现有方法。我们还提出了 Lp 归一化，用于按不同阶统计矩进行归一化。特别是，L1 归一化表现良好、易于实现、计算快速、更具生物合理性，因此非常适合 GPU 或硬件实现。
引用
@article{arxiv.1610.06160,
title = {Streaming Normalization: Towards Simpler and More Biologically-plausible Normalizations for Online and Recurrent Learning},
author = {Qianli Liao and Kenji Kawaguchi and Tomaso Poggio},
journal= {arXiv preprint arXiv:1610.06160},
year = {2016}
}