简易注意力：一种用于 Transformer 时间预测的简易注意力机制

为提升用于混沌系统时间动力学预测的 Transformer 神经网络的鲁棒性，我们提出一种称为简易注意力 (easy attention) 的新颖注意力机制，并在时间序列重构与预测中予以展示。标准自注意力仅利用查询与键的内积，但研究表明，捕获时间序列中长期依赖所需的注意力分数并非必须用到键、查询与 softmax。通过对 softmax 注意力分数进行奇异值分解 (SVD)，我们进一步观察到自注意力在注意力分数所张成的空间中压缩了查询与键的贡献。因此，我们提出的简易注意力方法直接将注意力分数视为可学习参数。该方法在重构与预测混沌系统时间动力学时取得了优异结果，比自注意力或广泛使用的长短期记忆 (LSTM) 网络表现出更强的鲁棒性与更低的复杂度。我们在 Lorenz 系统、湍流剪切流以及一个核反应堆模型中展示了简易注意力方法的性能提升。