快速稀疏卷积网络
计算机视觉与模式识别
2019-11-25 v1
摘要
历史上，对高效推理的追求一直是研究新深度学习架构与基本模块的主要驱动力之一。近期的一些例子包括：压缩激励模块、Xception 中的深度可分离卷积，以及 MobileNet v2 中的倒残差瓶颈。值得注意的是，在所有这些情况下，所得基本模块不仅实现了更高效率，还达到了更高精度，并在该领域获得广泛采用。本工作中，我们进一步扩充神经网络架构高效基本模块的武器库；但我们不组合标准原语（如卷积），而是主张用其稀疏对应物替代这些稠密原语。虽然利用稀疏性降低参数量的思想并不新鲜，但传统观念认为理论 FLOPs 的减少不会转化为现实世界的效率提升。我们旨在通过引入一系列面向 ARM 和 WebAssembly 的高效稀疏核来纠正这一误解，并作为 XNNPACK 库的一部分开源以供社区使用。借助我们对稀疏原语的高效实现，我们展示了 MobileNet v1、MobileNet v2 和 EfficientNet 架构的稀疏版本在效率-精度曲线上大幅优于强稠密基线。在 Snapdragon 835 上，我们的稀疏网络比其稠密等价物快 ——相当于大约一整代 MobileNet 系列的改进。我们希望我们的发现能促进将稀疏性作为创建高效且准确深度学习架构工具的更广泛应用。
引用
@article{arxiv.1911.09723,
title = {Fast Sparse ConvNets},
author = {Erich Elsen and Marat Dukhan and Trevor Gale and Karen Simonyan},
journal= {arXiv preprint arXiv:1911.09723},
year = {2019}
}