论长程依赖的幻象：以整数乘法为例
机器学习
2026-04-07 v2 人工智能
摘要
整数乘法长期被视为神经网络的难题，难度普遍归因于由进位链引起的 O(n) 长程依赖。我们认为诊断错误：长程依赖是乘法的内在属性，而非计算时空选择的产物。我们形式化幻象的概念，给出构造性证明：当两个 n 位二进制整数排列为 2D 外积网格时，整个长乘法过程可折叠为 的局部邻域操作。在此表征下，仅含 321 个可学习参数的神经细胞自动机即可实现对训练范围的 长度的完美泛化。包括 Transformer（6,625 参数）、Transformer+RoPE 和 Mamba 在内的五种替代架构在相同的表征下均失败。我们进一步分析如何让部分成功锁定了社区的错误诊断，主张任何被诊断为需要长程依赖的任务，都应首先检验该依赖是否为任务的内在属性或由计算时空引起。
引用
@article{arxiv.2603.29069,
title = {On the Mirage of Long-Range Dependency, with an Application to Integer Multiplication},
author = {Zichao Wei},
journal= {arXiv preprint arXiv:2603.29069},
year = {2026}
}