基于控制变量的线性梯度预测
机器学习
2025-11-10 v1 机器学习
摘要
我们提出一种新的神经网络训练方法，旨在降低训练成本。该方法使用近似预测的梯度代替需要昂贵反向传播的完整梯度。我们推导了基于控制变量的技术，确保我们的更新是真实梯度的无偏估计。此外，我们提出了一种新颖的方法，从神经张量核的理论中灵感来自梯度预测器。我们在视觉Transformer分类任务上经验性地展示了该技术的有效性。
引用
@article{arxiv.2511.05187,
title = {Linear Gradient Prediction with Control Variates},
author = {Kamil Ciosek and Nicolò Felicioni and Juan Elenter Litwin},
journal= {arXiv preprint arXiv:2511.05187},
year = {2025}
}