深根：利用分层滤波器组提升 CNN 效率
神经与进化计算
2020-10-13 v3 计算机视觉与模式识别
机器学习
摘要
我们提出一种新方法，利用一种类似于树根的新颖稀疏连接结构来创建计算高效且紧凑的卷积神经网络（CNN）。该方法通过利用层间滤波器依赖的稀疏性，与最先进的深度 CNN 相比，显著减少了计算成本和参数数量，且不损害精度。我们使用该方法训练最先进 CNN 架构的更高效变体，并在 CIFAR10 和 ILSVRC 数据集上评估，从而验证了我们的方法。结果表明，根据 CPU 和 GPU 计时测量，我们的模型以少得多的计算量实现了与基线架构相似或更高的精度。例如，对于 ResNet 50，我们的模型参数减少 40%，浮点运算减少 45%，在 CPU（GPU）上快 31%（12%）。对于更深的 ResNet 200，我们的模型浮点运算减少 25%，参数减少 44%，同时保持最先进的精度。对于 GoogLeNet，我们的模型参数减少 7%，在 CPU（GPU）上快 21%（16%）。
引用
@article{arxiv.1605.06489,
title = {Deep Roots: Improving CNN Efficiency with Hierarchical Filter Groups},
author = {Yani Ioannou and Duncan Robertson and Roberto Cipolla and Antonio Criminisi},
journal= {arXiv preprint arXiv:1605.06489},
year = {2020}
}
备注
Updated full version of paper, in full letter paper two-column paper. Includes many textual changes, updated CIFAR10 results, and new analysis of inter/intra-layer correlation