GLU 变体改进 Transformer
机器学习
2020-02-14 v1 神经与进化计算
机器学习
摘要
门控线性单元（arXiv:1612.08083）由两个线性投影的逐元素乘积组成，其中之一的投影先经过 sigmoid 函数。使用不同非线性（甚至线性）函数替代 sigmoid 的 GLU 变体是可能的。我们在 Transformer（arXiv:1706.03762）序列到序列模型的前馈子层中测试这些变体，发现其中一些相比通常使用的 ReLU 或 GELU 激活带来了质量提升。
关键词
引用
@article{arxiv.2002.05202,
title = {GLU Variants Improve Transformer},
author = {Noam Shazeer},
journal= {arXiv preprint arXiv:2002.05202},
year = {2020}
}