邻居就足够了吗？多头神经n-gram可作为自注意力的替代
计算与语言
2022-07-28 v1
摘要
Transformer的惊人性能被归因于自注意力，其在每个位置考虑序列中整个输入的依赖关系。在这项工作中，我们如Vaswani等人(2017)那样用多头机制重构了神经 -gram模型，该模型仅关注每个位置的若干周围表示。通过在序列到序列任务上的实验，我们表明用多头神经 -gram替换Transformer中的自注意力可以达到与Transformer相当或更好的性能。通过对我们提出方法的各种分析，我们发现多头神经 -gram与自注意力是互补的，并且它们的组合可以进一步提升原始Transformer的性能。
关键词
引用
@article{arxiv.2207.13354,
title = {Are Neighbors Enough? Multi-Head Neural n-gram can be Alternative to Self-attention},
author = {Mengsay Loem and Sho Takase and Masahiro Kaneko and Naoaki Okazaki},
journal= {arXiv preprint arXiv:2207.13354},
year = {2022}
}