神经网络训练与梯度监控的随机矩阵草图
机器学习
2025-10-02 v1
摘要
神经网络训练依赖于通过反向传播计算梯度，但存储各层激活值的内存要求为可扩展性带来了显著挑战。我们首次将控制论矩阵草图技术应用于神经网络层激活，实现反向传播中内存高效的梯度重建。该工作建立在最近针对动态优化问题的矩阵草图框架基础上，其中类似的状态轨迹存储挑战激发了草图技术的需求。我们的ethods通过具有自适应秩调整的指数移动平均（EMA）来维护三个互补的草图矩阵，自动平衡内存效率与近似质量。在MNIST、CIFAR-10和物理信息神经网络上进行的实证评估显示，可控制的精度-内存权衡。我们演示了在MNIST上进行的梯度监控应用，表明草图激活可实现最小内存开销的实时梯度范数跟踪。这些结果表明，草图激活存储为神经网络训练和分析提供了可行的内存高效路径。
引用
@article{arxiv.2510.00442,
title = {Randomized Matrix Sketching for Neural Network Training and Gradient Monitoring},
author = {Harbir Antil and Deepanshu Verma},
journal= {arXiv preprint arXiv:2510.00442},
year = {2025}
}
备注
21, pages, 5 figures, 1 table