神经调制门控 Transformer
计算与语言
2023-05-15 v2
摘要
我们引入了一种新颖架构——神经调制门控Transformer(NGT),其通过乘法效应实现了Transformer中神经调制的简单实现。我们将其与基线进行比较,并表明在SuperGLUE基准验证集上它取得了最佳平均性能。
引用
@article{arxiv.2305.03232,
title = {Neuromodulation Gated Transformer},
author = {Kobe Knowles and Joshua Bensemann and Diana Benavides-Prado and Vithya Yogarajan and Michael Witbrock and Gillian Dobbie and Yang Chen},
journal= {arXiv preprint arXiv:2305.03232},
year = {2023}
}
备注
8 pages, 1 figure, 4 tables, ICLR 2023 Tiny Papers