剖析彩票票 Transformer:稀疏神经机器翻译的结构与行为研究
计算与语言
2020-10-14 v2 机器学习
机器学习
摘要
近期关于彩票票假设的研究在保持 BLEU 的同时为 NMT 生成了高度稀疏的 Transformer。然而,尚不清楚此类剪枝技术如何影响模型学到的表示。通过对剪枝掉越来越多低幅值权重的 Transformer 进行探测,我们发现复杂语义信息最先被退化。对内部激活的分析表明,高层在剪枝过程中偏离最大,逐渐变得比其稠密对应物更不复杂。同时,稀疏模型的早期层开始执行更多编码。注意力机制随着稀疏度增加保持显著一致。
引用
@article{arxiv.2009.13270,
title = {Dissecting Lottery Ticket Transformers: Structural and Behavioral Study of Sparse Neural Machine Translation},
author = {Rajiv Movva and Jason Y. Zhao},
journal= {arXiv preprint arXiv:2009.13270},
year = {2020}
}
备注
Camera-ready for BlackboxNLP @ EMNLP 2020