批层归一化：一种用于 CNN 与 RNN 的新归一化层

Amir Ziaee; Erion Çano

doi:10.1145/3571560.3571566

批层归一化：一种用于 CNN 与 RNN 的新归一化层

机器学习 2023-01-16 v1 人工智能神经与进化计算

作者: Amir Ziaee , Erion Çano

在 arXiv 上查看 ↗ PDF ↗ DOI ↗

摘要

本研究引入了一种称为批层归一化（BLN）的新归一化层，以减轻深度神经网络层中的内部协变量偏移问题。作为批归一化和层归一化的组合版本，BLN 基于小批量的逆大小自适应地对小批量归一化和特征归一化赋予适当权重，以在学习过程中归一化层的输入。它还在推理时以微小改动执行精确计算，使用小批量统计量或总体统计量。使用小批量或总体统计量的决策过程使 BLN 能够在模型的超参数优化过程中发挥全面作用。BLN 的主要优势是支持独立于输入数据的理论分析，且其统计配置严重依赖于所执行的任务、训练数据量和批量大小。测试结果表明了 BLN 的应用潜力，以及其在卷积和循环神经网络中比批归一化和层归一化更快的收敛速度。实验代码已在线公开（https://github.com/A2Amir/Batch-Layer-Normalization）。

关键词

批层归一化内部协变量偏移卷积神经网络循环神经网络归一化层超参数优化

引用

@article{arxiv.2209.08898,
  title  = {Batch Layer Normalization, A new normalization layer for CNNs and RNN},
  author = {Amir Ziaee and Erion Çano},
  journal= {arXiv preprint arXiv:2209.08898},
  year   = {2023}
}

备注

Published in proceedings of the 6th international conference on Advances in Artificial Intelligence, ICAAI 2022, Birmingham, UK

批层归一化：一种用于 CNN 与 RNN 的新归一化层

摘要

关键词

引用

备注

相关论文