复制这个句子

注意力是一种从某个集合中选择最大元素的操作，其中“最大”的概念在别处定义。将该操作应用于序列到序列映射可显著改善手头任务。本文中我们给出注意力的数学定义，并考察其在序列到序列模型中的应用。我们强调了注意力机器学习实现与我们的数学定义之间的精确对应关系。我们提供了注意力机制有效性的明确证据，在一个非常简单的任务上评估具有不同注意力程度的模型：复制一个句子。我们发现，更充分利用注意力的模型在序列到序列映射任务上表现更好、收敛更快且更稳定。