深度扩展器网络：基于图论的高效深度网络
计算机视觉与模式识别
2018-07-27 v3
摘要
ResNets 和 DenseNet 等高效 CNN 设计被提出以改善精度与效率的权衡。它们本质上增加了连接性，允许跨层的高效信息流。受这些技术启发，我们提出用同时稀疏且良好连通的图来建模 CNN 滤波器之间的连接。稀疏性带来效率，而良好连通性可保持 CNN 的表达能力。我们使用理论计算机科学中一类满足这些性质且被充分研究的图，称为扩展器图（Expander graphs）。扩展器图被用于建模 CNN 中滤波器间的连接，以设计称为 X-Nets 的网络。我们对 X-Nets 的连通性给出两项保证：每个节点在对数步数内影响层内每个节点，且两组节点间路径数正比于它们大小的乘积。我们还提出了高效的训练与推理算法，使得更有效训练更深更宽的 X-Nets 成为可能。基于扩展器的模型在 MobileNet 上比分组卷积（一种具有相同稀疏性但连通性更差的流行技术）精度提高 4%。X-Nets 比原始的 ResNet 和 DenseNet-BC 架构给出更好的性能权衡。我们利用简单的架构设计，在未使用任何剪枝的情况下，实现了与最先进剪枝技术相当的模型大小。我们希望该工作能激励其他方法利用图论结果来开发高效网络架构。
引用
@article{arxiv.1711.08757,
title = {Deep Expander Networks: Efficient Deep Networks from Graph Theory},
author = {Ameya Prabhu and Girish Varma and Anoop Namboodiri},
journal= {arXiv preprint arXiv:1711.08757},
year = {2018}
}
备注
ECCV'18