学习最优组合以实现高效N:M稀疏性
机器学习
2022-10-10 v2 计算机视觉与模式识别
摘要
通过强制M个连续权重中至多N个非零，近期的N:M网络稀疏性因其两个吸引人的优势而受到越来越多的关注：1) 在高稀疏度下具有可观性能。2) 在NVIDIA A100 GPU上显著加速。近期研究需要昂贵的预训练阶段或繁重的稠密梯度计算。在本文中，我们表明N:M学习可自然地表征为一个组合问题，即在有限集合中搜索最优组合候选。受此特性启发，我们以高效的 Divide-and-conquer 方式解决N:M稀疏性。首先，我们将权重向量划分为大小为N的 个组合子集。然后，我们通过为每个组合分配一个可学习分数并将其与关联权重联合优化来攻克该组合问题。我们证明所引入的评分机制能很好地建模组合子集间的相对重要性。并且通过逐步移除低分子集，N:M细粒度稀疏性可在正常训练阶段被高效优化。综合实验表明，我们的学习最优组合(LBC)在各种网络上始终优于现成的N:M稀疏性方法。我们的项目发布于 \url{https://github.com/zyxxmu/LBC}。
引用
@article{arxiv.2206.06662,
title = {Learning Best Combination for Efficient N:M Sparsity},
author = {Yuxin Zhang and Mingbao Lin and Zhihang Lin and Yiting Luo and Ke Li and Fei Chao and Yongjian Wu and Rongrong Ji},
journal= {arXiv preprint arXiv:2206.06662},
year = {2022}
}
备注
Accepted by 36th Conference on Neural Information Processing Systems (NeurIPS 2022)