利用软注意力模拟硬注意力

我们研究了使用软注意力的 transformer 在何种条件下能够模拟硬注意力，即有效地将注意力集中在某个位置子集上。首先，我们考察了硬注意力 transformer 所识别的若干语言子类，这些子类可以用线性时序逻辑的变体来定义。我们展示了软注意力 transformer 如何利用无界位置嵌入或温度缩放来计算这些逻辑的公式。其次，我们展示了温度缩放如何使 softmax transformer 模拟通用的硬注意力 transformer，所使用的温度取决于最大注意力得分与其他注意力得分之间的最小差距。