HOT：基于Hadamard的优化训练
机器学习
2025-03-28 v1
摘要
优化反向传播以减少内存使用和计算开销已变得越来越重要。实现这一目标极具挑战性，因为必须在保持训练质量的同时联合考虑多个目标。在本文中，我们聚焦于矩阵乘法，因为其占据训练成本的主要部分，并对其反向传播进行详细分析，以识别能量最佳的轻量技术。基于此分析，我们引入了一种新方法：Hadamard-based Optimized Training（HOT）。在该方法中，我们有选择地应用Hadamard优化，如Hadamard量化和Hadamard低秩近似，并注意每种优化对不同反向路径的适合性。此外，我们引入了两个增强措施：激活缓冲区压缩和层级量化器选择。我们广泛的分析表明，HOT在真实GPU上可实现最高75%的内存节省和2.6倍的加速，与FP32精度相比几乎不损失准确率。
关键词
引用
@article{arxiv.2503.21261,
title = {HOT: Hadamard-based Optimized Training},
author = {Seonggon Kim and Juncheol Shin and Seung-taek Woo and Eunhyeok Park},
journal= {arXiv preprint arXiv:2503.21261},
year = {2025}
}
备注
Accepted in CVPR 2025