面向宽卷积神经网络的多通道多网格架构
机器学习
2020-11-20 v2 计算机视觉与模式识别
机器学习
摘要
我们提出了一种多网格方法，以抑制标准卷积神经网络（CNN）中参数数量随通道数呈二次增长的趋势。已有研究表明，标准 CNN 中存在冗余，因为具有更稀疏卷积算子的网络可取得与完整网络相近的性能。然而，导致此类行为的稀疏模式通常是随机的，不利于硬件效率。本工作中，我们提出一种多通道多网格方法来构建 CNN 架构，其实现了通道间的全耦合，且参数数量与网络宽度呈线性比例。为此，我们用由结构化（即分组）卷积构成的多级层替换通用 CNN 中的每一卷积层。我们在监督图像分类上的示例表明，将该策略应用于残差网络和 MobileNetV2 可大幅减少参数数量而不损害精度。因此，我们可以加宽网络而无需急剧增加参数或计算量。
引用
@article{arxiv.2006.06799,
title = {Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks},
author = {Jonathan Ephrath and Lars Ruthotto and Eran Treister},
journal= {arXiv preprint arXiv:2006.06799},
year = {2020}
}
备注
This paper has been withdrawn by the authors. This paper has been superseded by arXiv:2011.09128