空间间剪枝：利用自适应滤波器表示改进稀疏 CNN 的训练
计算机视觉与模式识别
2022-03-16 v1 机器学习
摘要
非结构化剪枝非常适合在训练和推理时减少卷积神经网络（CNNs）的内存占用。CNNs 包含排列为 滤波器的参数。标准非结构化剪枝（SP）通过将滤波器元素置零来减少 CNNs 的内存占用，从而指定一个约束滤波器的固定子空间。特别是在训练前或训练期间应用剪枝时，这会引入强偏差。为克服此问题，我们提出空间间剪枝（IP），一种改进现有剪枝方法的通用工具。它使用由底层自适应滤波器基（FB）的线性组合在动态空间间表示的滤波器。对于 IP，FB 系数被置零，而未剪枝系数与 FBs 联合训练。本工作中，我们为 IP 的优越性能提供数学证据，并证明 IP 在所有测试的最先进非结构化剪枝方法上均优于 SP。尤其在具有挑战性的情况下，如针对 ImageNet 的剪枝或高稀疏度剪枝，IP 以相等的运行时间和参数成本大幅超越 SP。最后，我们表明 IP 的进展源于改进的可训练性和优越的泛化能力。
引用
@article{arxiv.2203.07808,
title = {Interspace Pruning: Using Adaptive Filter Representations to Improve Training of Sparse CNNs},
author = {Paul Wimmer and Jens Mehnert and Alexandru Paul Condurache},
journal= {arXiv preprint arXiv:2203.07808},
year = {2022}
}
备注
Accepted as conference paper for CVPR 2022