Finet：利用细粒度批归一化训练轻量级神经网络
机器学习
2020-05-15 v1 机器学习
摘要
为构建轻量级网络，我们提出一种新的归一化方法——细粒度批归一化（FBN）。与对加权输入的最终求和结果进行归一化的批归一化（BN）不同，FBN对求和过程的中间状态进行归一化。我们基于FBN提出一种名为Finet的新型轻量级网络。在训练时，带有FBN的卷积层可视为一种倒瓶颈机制。FBN在推理时可融合进卷积中。融合后，Finet使用通道宽度相等的标准卷积，从而使推理更加高效。在ImageNet分类数据集上，Finet取得了最先进的性能（43M FLOPs下准确率为65.706%，303M FLOPs下准确率为73.786%）。此外，实验表明Finet比其他最先进的轻量级网络更高效。
引用
@article{arxiv.2005.06828,
title = {Finet: Using Fine-grained Batch Normalization to Train Light-weight Neural Networks},
author = {Chunjie Luo and Jianfeng Zhan and Lei Wang and Wanling Gao},
journal= {arXiv preprint arXiv:2005.06828},
year = {2020}
}