HLQ：基于哈达德低秩量化的快速高效反向传播
计算机视觉与模式识别
2024-06-24 v1 机器学习
摘要
随着模型规模的快速增长以及各种微调应用日益受到重视，轻量化训练变得至关重要。由于反向传播的计算成本是前向传播的两倍，优化反向传播尤为重要。然而，对该过程的修改可能导致次优收敛，因此训练优化应最小化扰动，这是一项极具挑战性的任务。本研究引入一种称为哈达德低秩量化 (HLQ) 的新型优化策略，专注于降低卷积层和线性层的反向传播成本。我们首先分析了关于激活和权重的梯度计算的敏感性，并仔细设计 HLQ 流水线，对激活梯度应用 4 位哈达德量化，对权重梯度应用哈达德低秩近似。这种组合被发现对于最大化收益最为理想，我们的广泛实验表明 HLQ 在从头训练和微调方面性能卓越，在真实 GPU 上实现了显著的内存节省和加速，同时几乎没有质量降低。
引用
@article{arxiv.2406.15102,
title = {HLQ: Fast and Efficient Backpropagation via Hadamard Low-rank Quantization},
author = {Seonggon Kim and Eunhyeok Park},
journal= {arXiv preprint arXiv:2406.15102},
year = {2024}
}