注意力是你所需的一切吗？——基于卷积的主动记忆与自注意力的实证研究
机器学习
2020-01-01 v2 计算与语言
机器学习
摘要
Transformer 模型的关键在于自注意力机制，它使模型能够以计算高效的方式分析整个序列。近期的研究提出了一种可能性，即 RNN 使用的通用注意力机制可被主动记忆机制所替代。在这项工作中，我们评估了各种主动记忆机制能否替代 Transformer 中的自注意力。我们的实验表明，对于语言建模，仅使用主动记忆可达到与自注意力机制相当的结果，但最优结果大多是通过同时使用主动记忆与自注意力机制共同实现的。我们还注意到，对于一些特定的算法任务，仅使用主动记忆机制的表现优于自注意力以及两者结合。
引用
@article{arxiv.1912.11959,
title = {Is Attention All What You Need? -- An Empirical Investigation on Convolution-Based Active Memory and Self-Attention},
author = {Thomas Dowdell and Hongyu Zhang},
journal= {arXiv preprint arXiv:1912.11959},
year = {2020}
}
备注
7 pages, 2 figures