数据序列上硬注意力 Transformer 的强大能力：形式语言论视角
形式语言与自动机理论
2024-11-13 v2
摘要
形式语言理论最近成功地应用于揭示 Transformer 编码器的表达能力。该设置主要适用于自然语言处理 (NLP)，因为在将输入送入 Transformer 之前，首先会应用一个令嵌入函数（允许的标记数量是有限的）。对于某些数据类型（例如时间序列），我们希望我们的 Transformer 能够处理任意长度的数字序列（或其元组），而无需事先限制这些数字的值。在本文中，我们着手研究数据序列上 Transformer 编码器的表达能力（即数字元组的序列）。我们的结果表明，硬注意力 Transformer 在数据序列上的表达能力显著高于字符串，这与字符串的情况形成鲜明对比。特别是，我们证明了在数据序列上的唯一硬注意力 Transformer (UHAT) 不再位于电路复杂性类 中（即使不包含位置编码），但仍然位于复杂度类 中（即使包含位置编码）。对于字符串，UHAT 不包含位置编码时仅捕获正则语言。相比之下，我们展示了 UHAT 在数据序列上可以捕获非正则属性。最后，我们表明 UHAT 捕获的是由线性时序逻辑扩展（带一元数值谓词和算术运算）可定义的语言。
关键词
引用
@article{arxiv.2405.16166,
title = {The Power of Hard Attention Transformers on Data Sequences: A Formal Language Theoretic Perspective},
author = {Pascal Bergsträßer and Chris Köcher and Anthony Widjaja Lin and Georg Zetzsche},
journal= {arXiv preprint arXiv:2405.16166},
year = {2024}
}