深度卷积神经网络中的串联块
机器学习
2018-06-04 v1 机器学习
摘要
由于残差网络（resnets）及相关架构的成功，快捷连接已迅速成为构建卷积神经网络的标准工具。文献中关于快捷连接明显有效性的解释多种多样且常常相互矛盾。我们假设快捷连接之所以有效，主要是因为它们充当了非线性层的线性对应部分。我们通过使用标准残差块的若干变体（具有不同类型的线性连接）来构建小型图像分类网络，以检验这一假设。我们的实验表明，其他类型的线性连接可能比恒等快捷连接更为有效。我们的结果还表明，对于给定的应用，最佳线性连接类型可能取决于网络的宽度和深度。
引用
@article{arxiv.1806.00145,
title = {Tandem Blocks in Deep Convolutional Neural Networks},
author = {Chris Hettinger and Tanner Christensen and Jeffrey Humpherys and Tyler J. Jarvis},
journal= {arXiv preprint arXiv:1806.00145},
year = {2018}
}
备注
10 pages, 6 figures