ShaResNet：通过共享权重减少残差网络参数数量
计算机视觉与模式识别
2017-03-07 v2 机器学习
摘要
深度残差网络已在许多图像处理任务（如图像分类）中达到最先进水平。然而，在深度和内存方面换取精度提升的成本过高，因为它需要更多的残差块，最多可达初始值的两倍。为解决此问题，我们在本文中提出了一种减少网络冗余信息的方法。我们共享在相同空间尺度上操作的残差块之间的卷积层权重。信号在同一卷积层中多次流动。由此产生的架构称为 ShaResNet，包含块特定层和共享层。这些 ShaResNet 的训练方式与常用的残差网络完全相同。我们一方面表明，它们几乎与顺序对应网络一样高效，同时涉及更少的参数；另一方面表明，它们比具有相同参数数量的残差网络更高效。例如，一个 152 层深的残差网络可以减少到 106 个卷积层，即参数增益 39%，而在 ImageNet 上的精度损失小于 0.2%。
引用
@article{arxiv.1702.08782,
title = {ShaResNet: reducing residual network parameter number by sharing weights},
author = {Alexandre Boulch},
journal= {arXiv preprint arXiv:1702.08782},
year = {2017}
}