非深度网络
计算机视觉与模式识别
2021-10-18 v1 人工智能
摘要
深度是深度神经网络的标志。但更多的深度意味着更多的顺序计算和更高的延迟。这引出了一个问题——是否可能构建高性能的“非深度”神经网络？我们证明这是可能的。为此，我们使用并行的子网络，而不是逐层堆叠。这有助于有效减少深度，同时保持高性能。通过利用并行子结构，我们首次证明，深度仅为12的网络即可在ImageNet上达到超过80%的top-1准确率，在CIFAR10上达到96%，在CIFAR100上达到81%。我们还证明，具有低深度（12）骨干的网络在MS-COCO上可以达到48%的AP。我们分析了我们设计的缩放规则，并展示了如何在不改变网络深度的情况下提高性能。最后，我们提供了一个概念验证，说明非深度网络如何用于构建低延迟识别系统。代码可在https://github.com/imankgoyal/NonDeepNetworks获取。
引用
@article{arxiv.2110.07641,
title = {Non-deep Networks},
author = {Ankit Goyal and Alexey Bochkovskiy and Jia Deng and Vladlen Koltun},
journal= {arXiv preprint arXiv:2110.07641},
year = {2021}
}