BASIS：基于不变标量的平衡激活草图，用于“幽灵反向传播”
机器学习
2026-04-21 v1
摘要
精确反向传播所需的激活内存随网络深度、上下文长度和特征维度呈线性比例，形成 O(L * BN) 的空间瓶颈（其中 B 为序列批次基数，N 为特征维度）。这一约束历史上限制了深层神经网络的规模化。虽然随机化自动微分尝试缓解这一问题，但其历史上因方差失控而受限。本文引入 BASIS（Balanced Activation Sketching with Invariant Scalars），一种高效的反向传播算法，完全将激活内存从批次和序列维度中解耦。BASIS 传播确切的误差信号 (dX) 以保持完美的梯度流，但使用大幅压缩的秩-R 张量计算权重更新 (dW)。为解决草图梯度的根本性不稳定性，我们提出了两种新机制：Balanced Hashing，通过严格消除非对角碰撞方差；Invariant Scalars，这是一种原则化的偏差-方差权衡，确定性地保持连续能量范数的精确值。理论上，BASIS 将激活内存降至 O(L * RN)，并大幅降低反向传递的矩阵乘法负载。经验上，训练 GPT 架构进行 50,000 步验证了我们的理论保证：在 R=32 时，BASIS 在验证损失上与精确反向传播持平（6.575 vs. 6.616），充当隐式正则化器。惊人的是，稳定的幅值轨迹使模型即使在极端空间压缩 (R=1) 下也能平滑收敛，证明了估计器的极端鲁棒性。代码已公开于 https://github.com/VladimerKhasia/basis。
引用
@article{arxiv.2604.16324,
title = {BASIS: Balanced Activation Sketching with Invariant Scalars for "Ghost Backpropagation"},
author = {Vladimer Khasia},
journal= {arXiv preprint arXiv:2604.16324},
year = {2026}
}