逻辑与自动机在理解 Transformer 中的作用

Anthony W. Lin; Pablo Barcelo

逻辑与自动机在理解 Transformer 中的作用

形式语言与自动机理论 2025-09-30 v1 计算与语言机器学习计算机科学中的逻辑

作者: Anthony W. Lin , Pablo Barcelo

摘要

近年来，Transformer 的出现导致大型语言模型（LLM）取得了强大且革命性的进展。尽管如此，我们仍对 Transformer 的能力认识不足。在本篇邀请稿中，我们回顾了近几年来对 Transformer 能否做什么这一问题的快速进展。特别是，我们将看到逻辑与自动机（以及一些来自电路复杂性的帮助）在回答这一问题中的核心作用。我们还提到了逻辑、自动机、验证与 Transformer 之间若干开放问题。

关键词

Transformer 逻辑自动机电路复杂性大型语言模型

引用

@article{arxiv.2509.24024,
  title  = {The Role of Logic and Automata in Understanding Transformers},
  author = {Anthony W. Lin and Pablo Barcelo},
  journal= {arXiv preprint arXiv:2509.24024},
  year   = {2025}
}

备注

Preprint of invited paper for RP'25

逻辑与自动机在理解 Transformer 中的作用

摘要

关键词

引用

备注

相关论文