MaxQ：面向 N:M 稀疏网络的多轴查询
计算机视觉与模式识别
2024-03-19 v2
摘要
由于与结构化和非结构化稀疏性相比具有卓越的性能和延迟权衡，N:M 稀疏性受到了越来越多的关注。然而，现有的 N:M 稀疏性方法没有区分块之间权重的相对重要性，导致重要权重未得到充分重视。此外，它们直接将 N:M 稀疏性应用于整个网络，这会导致严重的信息丢失。因此，它们仍然是次优的。在本文中，我们提出了一种高效且有效的多轴查询方法，称为 MaxQ，以纠正这些问题。在训练期间，MaxQ 采用动态方法生成软 N:M 掩码，同时考虑跨多个轴的权重重要性。该方法增强了更重要的权重，并确保了更有效的更新。同时，应用了一种逐步增加 N:M 权重块百分比的稀疏策略，允许网络从剪枝引起的损伤中逐渐恢复。在运行期间，N:M 软掩码可以被预计算为常数并折叠到权重中，而不会对稀疏模式造成任何扭曲，也不会产生额外的计算开销。综合实验表明，MaxQ 在各种计算机视觉任务（包括图像分类、目标检测和实例分割）中的多种 CNN 架构上均取得了一致的改进。对于具有 1:16 稀疏模式的 ResNet50，MaxQ 在 ImageNet 上实现了 74.6% 的 top-1 准确率，比现有技术提高了 2.8% 以上。代码和检查点可在 \url{https://github.com/JingyangXiang/MaxQ} 获取。
引用
@article{arxiv.2312.07061,
title = {MaxQ: Multi-Axis Query for N:M Sparsity Network},
author = {Jingyang Xiang and Siqi Li and Junhao Chen and Zhuangzhi Chen and Tianxin Huang and Linpeng Peng and Yong Liu},
journal= {arXiv preprint arXiv:2312.07061},
year = {2024}
}
备注
Accepted by the IEEE/CVF Conference on Computer Vision and Pattern Recognition 2024 (CVPR2024)