离散推理的障碍：深度、精确性与带宽的调查

Transformer 已成为序列建模应用的基础架构，支撑着自然语言处理、计算机视觉等领域的前沿系统。然而，它们在离散推理任务（如算术、逻辑推理和算法组合）中的理论局限性仍是一个关键的开放问题。本次调查综合了来自三个理论视角的最新研究：电路复杂性、逼近论和通信复杂性，以阐明 Transformer 在执行符号计算时所面临的结构性和计算性障碍。通过连接这些既定的理论框架，本文提供了一种易于理解且统一的阐述，说明当前的 Transformer 架构为何难以实现精确的离散算法，尽管它们在模式匹配和插值方面表现出色。我们回顾了关键定义、核心成果和示例，突出了诸多挑战，包括深度限制、难以逼近不连续性以及跨 token 通信的瓶颈。最后，我们讨论了对模型设计的影响，并提出了克服这些根本性限制的可行方向。