利用廉价空间变换重构剪枝滤波器
计算机视觉与模式识别
2023-08-25 v3
摘要
我们提出了一种使用廉价空间变换替代卷积层的高效方案。该构造利用了所学卷积滤波器中固有的空间冗余，从而实现更高的参数效率，同时保持其稠密对应物的顶级精度。将这些网络的训练建模为一个广义剪枝问题，即被剪枝的滤波器由来自非剪枝滤波器集合的廉价变换所替代。我们提供了所提出层的高效实现，随后给出两个自然扩展以避免过度的特征压缩并提升变换后特征的表达能力。我们表明，这些网络在CIFAR-10和ImageNet-1K数据集上均能取得与最先进剪枝模型相当或更好的性能。
引用
@article{arxiv.2110.12844,
title = {Reconstructing Pruned Filters using Cheap Spatial Transformations},
author = {Roy Miles and Krystian Mikolajczyk},
journal= {arXiv preprint arXiv:2110.12844},
year = {2023}
}
备注
ICCV 2023 Workshop on Resource Efficient Deep Learning for Computer Vision