突破确定性壁垒：随机化剪枝掩码生成与选择
计算机视觉与模式识别
2024-01-12 v2 计算与语言
摘要
人们广泛认识到，在相同模型规模约束下，大而稀疏的模型比小而稠密的模型具有更高的精度。这促使我们先训练一个大模型，再通过剪枝去除其冗余神经元或权重。大多数现有工作以确定性方式剪枝网络，其性能仅依赖于单一剪枝准则，因而缺乏多样性。相反，本文提出一种模型剪枝策略，首先以设计的随机方式生成若干剪枝掩码，随后借助有效的掩码选择规则，从候选掩码池中选取最优掩码。为进一步提升效率，我们引入早期掩码评估策略，减轻训练多个掩码带来的开销。大量实验表明，该方法在 GLUE 的八个数据集上取得了 SOTA 性能，尤其在高度稀疏时表现突出。
引用
@article{arxiv.2310.13183,
title = {Breaking through Deterministic Barriers: Randomized Pruning Mask Generation and Selection},
author = {Jianwei Li and Weizhi Gao and Qi Lei and Dongkuan Xu},
journal= {arXiv preprint arXiv:2310.13183},
year = {2024}
}