基于正则化的结构化模式剪枝
计算与语言
2021-09-21 v1 人工智能
摘要
迭代幅度剪枝（IMP）是一种网络剪枝方法，它重复移除幅度最小的权重并重新训练模型的过程。在可视化由 IMP 剪枝的语言模型的权重矩阵时，先前的研究表明会出现一种结构化模式，即存活下来的权重倾向于显著聚集在矩阵的少数选定行和列中。尽管先前已指出需要进一步研究利用这些结构化模式以获取潜在性能提升，但尚待深入研究。我们提出 SPUR（基于正则化的结构化模式剪枝），一种新颖的剪枝机制，通过在 IMP 的目标函数中添加正则化项，在压缩过程中先发制人地诱导结构化模式。我们的结果表明，SPUR 在高稀疏度设置下无论语言或任务如何都能显著保持模型性能。我们的贡献如下：（i）我们提出 SPUR，一种无论语言或任务如何都优于 IMP 的网络剪枝机制。（ii）我们首次通过经验验证了先前在剪枝研究中观察到的“结构化模式”的有效性。（iii）SPUR 是一种资源高效的机制，因为它不需要显著的额外计算。
引用
@article{arxiv.2109.08814,
title = {Structured Pattern Pruning Using Regularization},
author = {Dongjun Park and Geung-Hee Lee},
journal= {arXiv preprint arXiv:2109.08814},
year = {2021}
}