4-连通移位残差网络
计算机视觉与模式识别
2019-10-23 v1
摘要
移位操作近来被引入作为空间卷积的一种替代。该操作将激活值的子集水平及/或垂直移动，随后以逐点卷积替代空间卷积，显著降低了计算成本。在这项工作中，我们研究应如何将移位最佳地应用于高精度 CNN。我们将两种不同邻域组的移位应用于 ImageNet 上的 ResNet：原先提出的 8-连通（8C）邻域移位与较少被研究的 4-连通（4C）邻域移位。我们发现，当用移位替代 ResNet 的空间卷积时，两种移位邻域给出相同的 ImageNet 精度，表明对于大图像小邻域已足够。有趣的是，当将移位引入残差网络的所有逐点卷积时，4-连通移位优于 8-连通移位。这种 4-连通移位设置在与完整残差网络相同精度的同时，将参数量与 FLOPs 减少逾 40%。我们进而指出，若无空间卷积，ResNet 的下采样/上采样瓶颈通道结构不再必要。我们展示了一种全新的、基于 4C 移位的残差网络，其比原始 ResNet 短得多，却在相同计算成本下具有更高精度。该网络是迄今精度最高的基于移位的网络，展示了移位在深度神经网络中的潜力。
引用
@article{arxiv.1910.09931,
title = {4-Connected Shift Residual Networks},
author = {Andrew Brown and Pascal Mettes and Marcel Worring},
journal= {arXiv preprint arXiv:1910.09931},
year = {2019}
}
备注
ICCV Neural Architects Workshop 2019