基于相似度的高效被动滤波器剪枝以压缩CNN

卷积神经网络（CNNs）已在多种应用中取得巨大成功。然而，CNNs的计算复杂度和内存占用是其在资源受限设备上部署的瓶颈。近期降低CNNs计算成本与内存开销的努力涉及基于相似度的被动滤波器剪枝方法。此类方法计算滤波器间的两两相似度矩阵，并剔除若干相似滤波器以获得小型剪枝后CNN。然而，计算两两相似度矩阵的计算复杂度很高，尤其当卷积层具有大量滤波器时。为降低获取两两相似度矩阵的计算复杂度，我们提出一种高效方法，利用Nyström近似方法仅从该矩阵的少数几列近似出完整两两相似度矩阵。所提出的高效基于相似度的被动滤波器剪枝方法比计算完整两两相似度矩阵的基于相似度剪枝方法快3倍，且在CNNs计算量同等缩减下取得相同精度。此外，该高效基于相似度的剪枝方法与现有基于范数的剪枝方法表现相当或更优。所提剪枝方法的有效性在诸如DCASE 2021 Task 1A基线网络和为声学场景分类设计的VGGish网络等CNNs上进行了评估。