对角重构：一种深度卷积的高效训练方法

深度卷积由于减少了参数量和乘加运算而提供了显著的性能优势。然而，在当前的深度学习框架中，使用 GPU 训练深度卷积层速度缓慢，因为其实现无法充分利用 GPU 的算力。为了解决这个问题，本文提出了一种加速深度卷积层训练的高效方法（称为对角重构）。我们的核心思想是将深度卷积的权重向量重新排列为一个大的对角权重矩阵，从而将深度卷积转换为单一的标准卷积，这得到了针对 GPU 计算高度优化的 cuDNN 库的良好支持。我们在五个流行的深度学习框架中实现了该训练方法。评估结果表明，与各自原始的深度卷积实现相比，我们提出的方法在 Darknet 上获得了 $15.4\times$ 的训练加速，在 Caffe 上为 $8.4\times$，在 PyTorch 上为 $5.4\times$，在 MXNet 上为 $3.5\times$，在 TensorFlow 上为 $1.4\times$。