硬注意力 Transformer 编码器所接受的逻辑语言

我们致力于研究可被 transformer 编码器识别的形式语言。我们关注两种自注意力机制：(1) UHAT（唯一硬注意力 Transformer）与 (2) AHAT（平均硬注意力 Transformer）。已知 UHAT 编码器仅能识别电路复杂度类 ${\sf AC}^0$ 内的语言，即由具有无界扇入、多项式规模且深度有界的布尔电路族所接受的语言。另一方面，AHAT 编码器可识别 ${\sf AC}^0$ 之外的语言，但其表达能力仍位于更大的电路复杂度类 ${\sf TC}^0$ 内，即扩展了多数门的 ${\sf AC}^0$ 电路。我们首先给出一个否定结果：存在一种 ${\sf AC}^0$ 语言无法被 UHAT 编码器识别。在正面结果方面，我们证明 UHAT 编码器可识别 ${\sf AC}^0$ 语言中一个丰富的片段，即所有可用带任意一元数值谓词的一阶逻辑定义的语言。该逻辑包含例如来自 ${\sf AC}^0$ 的所有正则语言。我们随后证明，即便用计数项丰富该逻辑，AHAT 编码器仍能识别其中所有语言。我们应用这些结果推导了关于 UHAT 与 AHAT 在字母置换（亦称 Parikh 像）下的表达能力的新结论。