LBI：通过潜在有界接口实现并行扫描反向传播

反向传播本质上是跨深度顺序执行的，形成了一个$O(K)$深的依赖链，成为并行训练的瓶颈。虽然并行扫描公式在理论上将这一深度降低到$O(\log K)$，但由于在整个隐藏状态上组合满秩的$d\times d$雅可比矩阵需要$O(d^3)$的代价，这对于现代架构来说计算上过于昂贵。我们引入了潜在有界接口（LBI），这是一种算法公式，通过将区域间通信限制在一个低维潜在接口$m_k \in \mathbb{R}^{r}$（其中$r \ll d$）上，使得基于扫描的反向传播变得可行。这将伴随递归简化为对$r \times r$雅可比矩阵的后缀扫描，将每次组合的代价从$O(d^3)$降低到$O(r^3)$，同时在有界接口模型下保持精确梯度。我们证明，LBI在四种架构（Mamba-2、Mamba-3、Transformer以及Mamba-Transformer混合体）上，在47-61M块参数下保持了模型质量。维度$r=16$的接口足以将训练质量保持在密集基线的0.16-0.35交叉熵范围内。由此产生的框架为区域并行训练提供了算法基础，将跨设备反向通信减少为对$K$个固定大小矩阵的单次扫描，对于我们实验配置而言，约为56 KB。