高效反向传播的无偏近似向量-雅可比积
机器学习
2026-02-17 v1 机器学习
摘要
在本文中，我们引入了方法，以减少深度神经网络训练的计算和内存成本。我们的方法在反向传播期间用随机化的、无偏的近似向量-雅可比积来取代精确的向量-雅可比积。我们对实现特定精度所需的历元数与每个历元的成本降低之间的权衡进行了理论分析。随后，我们识别出特定的无偏向量-雅可比积估计值，并在稀疏性约束下建立了最小方差的最优性质。最后我们在多层感知机、BagNets和Visual Transformer架构上提供深入的实验。这些实验验证了我们的理论结果，并确认了我们提出的无偏随机化反向传播方法在降低深度学习成本方面的潜力。
引用
@article{arxiv.2602.14701,
title = {Unbiased Approximate Vector-Jacobian Products for Efficient Backpropagation},
author = {Killian Bakong and Laurent Massoulié and Edouard Oyallon and Kevin Scaman},
journal= {arXiv preprint arXiv:2602.14701},
year = {2026}
}