DeLighT:深度且轻量的 Transformer
机器学习
2021-02-15 v2 计算与语言
摘要
我们提出了一种深度且轻量的 transformer——DeLighT,它以显著更少的参数实现了与基于标准 transformer 的模型相似或更好的性能。DeLighT 更有效地分配参数:(1)在每个 Transformer 块内使用 DeLighT 变换(一种深度且轻量的变换);(2)跨块使用块级缩放,其允许在输入附近使用更浅更窄的 DeLighT 块,在输出附近使用更宽更深的 DeLighT 块。总体而言,DeLighT 网络比标准 transformer 模型深 2.5 至 4 倍,但具有更少的参数和运算量。在基准机器翻译和语言建模任务上的实验表明,DeLighT 以平均 2 至 3 倍更少的参数匹配或改善了基线 Transformer 的性能。我们的源代码可在:https://github.com/sacmehta/delight 获取。
引用
@article{arxiv.2008.00623,
title = {DeLighT: Deep and Light-weight Transformer},
author = {Sachin Mehta and Marjan Ghazvininejad and Srinivasan Iyer and Luke Zettlemoyer and Hannaneh Hajishirzi},
journal= {arXiv preprint arXiv:2008.00623},
year = {2021}
}
备注
Accepted at ICLR 2021