Transformer 的计数能力
计算与语言
2026-03-03 v3 形式语言与自动机理论
机器学习
摘要
计数属性（例如确定 certain tokens 是否在给定输入文本中发生多于其他 tokens）在研究 transformer 可表达性方面发挥着重要作用。在本文中，我们为调查 transformer 的计数能力提供了一个形式框架。我们认为，所有现有结果仅表明 transformer 的可表达性适用于（半）线性计数属性，即可表示为线性不等式的布尔组合。我们的主要结果是，transformer 可以表达高度非线性的计数属性。更准确地说，我们证明了 transformer 能够捕获所有半代数计数属性，即可表示为任意多元多项式（任意次数）的布尔组合。其中一些推广了 C-RASP softmax transformer 能捕获的计数属性，这些 transformer 只捕获线性计数属性。为补充这一结果，我们展示了一个自然的（softmax）transformer 子类，其完全 characterize 半代数计数属性。通过与 Hilbert's tenth problem 的联系，这种 transformer 的可表达性还导致了一种新的不可判定性结果，用于分析极其简单的 transformer 模型——惊讶地，既没有位置编码（即 NoPE-transformer）也没有掩码。我们也实验性地验证了此类计数属性的可训练性。
引用
@article{arxiv.2505.11199,
title = {The Counting Power of Transformers},
author = {Marco Sälzer and Chris Köcher and Alexander Kozachinskiy and Georg Zetzsche and Anthony Widjaja Lin},
journal= {arXiv preprint arXiv:2505.11199},
year = {2026}
}
备注
Accepted for ICLR 2026