AdaHOP：基于异常模式感知旋转的快速精准低精度训练
机器学习
2026-05-11 v2
摘要
Hadamard 变换已成为稳定低精度训练的关键工具，但现有方法在张量和计算路径上统一应用其限制显而易见：Hadamard smoothing只有当其方向正确地与操作数的异常结构对齐时，才可减少量化误差。通过系统性研究 LLM 训练中的权重、激活和梯度，我们识别出三种稳定的异常模式：按行、按列和无，表明矩阵乘法中，每种异常模式配对都需要不同的变换或异常处理策略。我们提出AdaHOP (Adaptive Hadamard transform with Outlier-Pattern-aware strategy)，当内维度混合正确抑制操作数的异常时应用内部Hadamard变换 (IHT)，否则选择性地应用异常提取 (OE)，将主导异常行或列提取到高精度路径中。借助融合且面向硬件的 Triton kernel，AdaHOP实现从零开始以 MXFP4 精度进行训练，达到BF16水平的质量，同时实现最高3.6倍的内存压缩、1.46倍的端到端训练加速。
关键词
引用
@article{arxiv.2604.02525,
title = {AdaHOP: Fast and Accurate Low-Precision Training via Outlier-Pattern-Aware Rotation},
author = {Seonggon Kim and Alireza Khodamoradi and Pranathi Vasireddy and Kristof Denolf and Eunhyeok Park},
journal= {arXiv preprint arXiv:2604.02525},
year = {2026}
}
备注
21 pages, 10 figures