面向 N:M 稀疏性的空间重参数化
计算机视觉与模式识别
2025-05-20 v3
摘要
本文提出一种用于 N:M 稀疏性的空间重参数化（SpRe）方法。SpRe 源于一个关于 N:M 稀疏性中卷积核空间稀疏性种类受限相较于非结构化稀疏性的观察。特别地，由于其独特模式要求在卷积滤波器输入通道维度上 M 个连续权重中有 N 个非零分量，N:M 稀疏性在空间域中表现出固定的稀疏率。相反，我们观察到传统的非结构化稀疏性在空间域间表现出显著的稀疏性差异，我们通过实验验证这对于其相较于 N:M 稀疏性的稳健性能保持非常关键。因此，SpRe 通过在训练时于原始 N:M 分支之外分配一个额外分支来采用非结构化稀疏性的空间稀疏分布，使 N:M 稀疏网络维持与非结构化稀疏性相似的空间稀疏分布。在推理时，额外分支可进一步重参数化入主 N:M 分支，不对稀疏模式或额外计算成本造成任何扭曲。SpRe 在各种基准上以最先进的未结构化稀疏性方法匹配 N:M 稀疏性方法的性能，成就可观。我们的项目见 https://github.com/zyxxmu/SpRE。
引用
@article{arxiv.2306.05612,
title = {Spatial Re-parameterization for N:M Sparsity},
author = {Yuxin Zhang and Mingbao Lin and Mingliang Xu and Yonghong Tian and Rongrong Ji},
journal= {arXiv preprint arXiv:2306.05612},
year = {2025}
}
备注
11 pages, 6 figures