将稳定化彩票假设成功应用于 Transformer 架构
机器学习
2020-07-06 v2 计算与语言
摘要
稀疏模型需要更少的存储空间，并通过减少必要的 FLOPs 数量来实现更快的推理。这对于使用神经网络的时间关键型计算和端侧计算都具有重要意义。稳定化彩票假设指出，网络可以在零次或极少次训练迭代后使用基于未剪枝收敛模型计算的掩码进行剪枝。在 Transformer 架构以及 WMT 2014 英德和英法翻译任务上，我们展示了稳定化彩票剪枝在高达 85% 的稀疏度下性能与幅度剪枝相当，并提出了一种新的剪枝技术组合，在更高稀疏度下优于所有其他技术。此外，我们确认参数的初始符号而非其具体数值是成功训练的主要因素，并表明幅度剪枝可用于寻找中奖彩票。
引用
@article{arxiv.2005.03454,
title = {Successfully Applying the Stabilized Lottery Ticket Hypothesis to the Transformer Architecture},
author = {Christopher Brix and Parnia Bahar and Hermann Ney},
journal= {arXiv preprint arXiv:2005.03454},
year = {2020}
}
备注
Accepted at ACL2020; evaluation corrected: magnitude pruning may be useful to find winning lottery tickets