无位置编码Transformer在层次化语言识别与生成中的理论分析

本研究对无需特定位置编码即可实现Transformer层次化语言高效识别与生成提供构造性证明。具体而言，我们表明因果遮蔽与起始令牌可使Transformer计算层次化结构中的位置信息和深度。我们证明了无位置编码的Transformer能够生成层次化语言。此外，我们建议显式位置编码可能对序列长度的泛化产生不利影响。