重构批归一化以加速 CNN 训练
计算机视觉与模式识别
2019-03-04 v2 机器学习
性能
摘要
批归一化（BN）已成为现代卷积神经网络（CNN）的核心设计模块。典型的现代 CNN 在其精简而深度的架构中具有大量 BN 层。BN 在训练期间需要对每个 mini-batch 进行均值与方差计算。因此，现有的内存访问缩减技术（如融合多个 CONV 层）由于无法优化训练期间与 mini-batch 相关的计算，对加速 BN 无效。为解决这一日益重要的问题，我们提出重构 BN 层：首先将一个 BN 层拆分为两个子层（裂变），然后将第一个子层与其前面的 CONV 层融合，并将第二个子层与其后面的激活层和 CONV 层融合（融合）。所提方案在训练最新 CNN 模型时可显著减少主存访问，且在芯片多处理器上的实验表明，所提 BN 重构可将 DenseNet-121 的性能提升 25.7%。
引用
@article{arxiv.1807.01702,
title = {Restructuring Batch Normalization to Accelerate CNN Training},
author = {Wonkyung Jung and Daejin Jung and and Byeongho Kim and Sunjung Lee and Wonjong Rhee and Jung Ho Ahn},
journal= {arXiv preprint arXiv:1807.01702},
year = {2019}
}
备注
13 pages, 8 figures, to appear in SysML 2019, added ResNet-50 results