硬注意力 Transformer 中思维链推理的下界

思维链推理和草稿本已成为增强 Transformer 计算能力的关键工具。虽然理论结果表明，多项式长度的草稿本可以将 Transformer 的表达能力从 $TC^0$ 扩展到 $PTIME$，但其所需长度仍知之甚少。经验证据甚至表明，即使对于 $TC^0$ 中的许多问题（如奇偶校验或乘法），Transformer 也需要草稿本，这对源自电路复杂性的乐观界限提出了挑战。在这项工作中，我们着手研究在硬注意力机制下，不同算法问题所需思维链步数的系统性下界。我们研究了多种算法问题，并提供了在对数因子范围内紧确的界。总体而言，这些结果有助于加深对思维链推理能力和局限性的理解。