面向高效 N:M 稀疏训练的双向掩码
计算机视觉与模式识别
2023-02-14 v1
摘要
我们致力于解决 N:M 细粒度稀疏性训练效率中的稠密反向传播问题，该稀疏性保留 M 个连续权重中至多 N 个，并由 N:M 稀疏张量核提供实际加速。为此，我们提出一种新颖的双向掩码（Bi-Mask）方法，其两大核心创新在于：1）在正向与反向传播两个方向上使用分离的稀疏掩码以获得训练加速。它将前向与后向的权重稀疏性解耦，克服了非常稠密的梯度计算。2）一种高效的权重行置换方法以保持性能。它选取后向中最符合条件的 N:M 权重块对应的置换候选，以最小化传统单向掩码与我们的双向掩码之间的梯度差距。与现有采用可转置掩码并实现后向加速的单向方案相比，我们的 Bi-Mask 在性能上实验证明显著更优。同时，我们的 Bi-Mask 表现与未能实现后向加速的方法相当甚至更好。本文项目见 \url{https://github.com/zyxxmu/Bi-Mask}。
引用
@article{arxiv.2302.06058,
title = {Bi-directional Masks for Efficient N:M Sparse Training},
author = {Yuxin Zhang and Yiting Luo and Mingbao Lin and Yunshan Zhong and Jingjing Xie and Fei Chao and Rongrong Ji},
journal= {arXiv preprint arXiv:2302.06058},
year = {2023}
}
备注
10 pages, 4 figures