XConv：用于卷积层的低内存随机反向传播
机器学习
2026-03-11 v3 数值分析
数值分析
摘要
大规模训练卷积神经网络需要大量内存，主要源于为反向传播存储中间激活值。现有方法——如检查点、可逆架构或随机自动微分等梯度近似方法——要么带来显著计算开销，要么施加架构约束，要么需要不平凡的代码库修改。我们提出XConv，一种标准卷积层的即插即用替代方案，可同时解决上述三方面局限：它保留标准反向传播，不施加架构约束，并可无缝集成到现有代码库中。XConv利用卷积层梯度的代数结构，存储高度压缩的激活值，并通过多通道随机迹估计近似权重梯度。我们建立了所提估计器的收敛保证并推导出误差界，表明所得梯度误差的方差与随机梯度下降相当。经验上，XConv在分类、生成建模、超分辨率、图像修复与分割任务中取得了与精确梯度方法相当的性能——且随着探测向量数量增加差距缩小——同时将内存使用减少至一半或更多，并在计算上与优化卷积实现保持竞争力。
引用
@article{arxiv.2106.06998,
title = {XConv: Low-memory stochastic backpropagation for convolutional layers},
author = {Anirudh Thatipelli and Jeffrey Sam and Mathias Louboutin and Ali Siahkoohi and Rongrong Wang and Felix J. Herrmann},
journal= {arXiv preprint arXiv:2106.06998},
year = {2026}
}