卷积神经网络效率的探讨

自 2012 年 AlexNet 取得突破性性能以来，卷积神经网络（convnets）已发展成为极其强大的视觉模型。深度学习研究人员已广泛应用于视觉任务，准确率在十年前已难以实现。面对 convnets 巨大的计算需求，深度学习研究人员也对效率产生了兴趣。然而，部署高效 convnets 的工程师很快意识到，这些模型尽管使用的运算更少，却比上一代模型更慢。许多人因此回归到运行更快的旧模型。于是，研究人员将搜索目标从算术复杂度转向延迟，催生了一波表现更好的新模型。令人反思的是，这些模型也使用了更多的运算。研究人员和工程师对算术复杂度的相关性产生了怀疑。与流行的观点相反，即延迟与算术复杂度不可调和，却存在一条简单公式将两者联系起来。这一洞见使我们能够共同优化决定延迟的各个因素。我们观察到，那些在最佳精度-复杂度权衡中表现最好的退化 conv2d 层，同样会消耗大量内存资源且计算效率较低。我们设计了块融合算法，通过单个 kernel 实现残差块的所有层，从而创建时域局部性、避免通信并减少工作空间大小。我们开发的 ConvFirst 模型采用块融合 kernel，算术复杂度更低且计算效率更高于基准模型和 kernel，运行速度约为 ConvNeXt 的四倍。我们还创建了新的工具，包括效率差距图和水位线分析。我们统一的方法致力于 convnet 效率，展望一个在更低成本下实现更高精度的模型和 kernel 时代的到来。