MGIC：通道内多重网格神经网络架构
计算机视觉与模式识别
2022-09-27 v4 机器学习
神经与进化计算
摘要
我们提出一种通道内多重网格（MGIC）方法，以解决标准卷积神经网络（CNN）中参数数量相对于通道数呈二次增长的问题。由此，我们的方法解决了 CNN 中的冗余性，这一冗余性也由近期轻量级 CNN 的成功所揭示。轻量级 CNN 可用更少参数达到与标准 CNN 相当的精度；然而，权重数量仍随 CNN 的宽度呈二次缩放。我们的 MGIC 架构将每个 CNN 块替换为利用小群组大小的嵌套分组卷积层次结构的 MGIC 对应块，以应对此问题。因此，我们提出的架构相对于网络宽度呈线性缩放，同时保留如标准 CNN 中通道的完全耦合。我们在图像分类、分割和点云分类上的大量实验表明，将这一策略应用于 ResNet 和 MobileNetV3 等不同架构可减少参数数量，同时获得相似或更好的精度。
引用
@article{arxiv.2011.09128,
title = {MGIC: Multigrid-in-Channels Neural Network Architectures},
author = {Moshe Eliasof and Jonathan Ephrath and Lars Ruthotto and Eran Treister},
journal= {arXiv preprint arXiv:2011.09128},
year = {2022}
}
备注
This paper supersedes arXiv:2006.06799 Accepted to SISC