TAH-QUANT：慢速网络下流水线并行中的有效激活量化
机器学习
2026-05-12 v2
摘要
大语言模型的去中心化训练为汇聚地理分布参与者的计算资源提供了机会，但往往受到网络通信的瓶颈限制，这在流水线并行设置下尤为明显。虽然流水线并行将模型层划分到不同设备以处理大规模模型，但它需要频繁通信中间激活值，在网络带宽有限时带来了挑战。为了解决这些问题，我们提出了 TAH-Quant（Tile-wise Adaptive Hadamard Quantization，分块自适应 Hadamard 量化），一种用于流水线并行的全新激活量化框架。TAH-Quant 集成了细粒度的分块量化、用于优化比特使用的熵引导分块自适应比特分配，以及带有主元交换的基于 Hadamard 的变换，以有效抑制离群值。与 token 级分配相比，分块分配器在每个 token 内的小通道窗口粒度上分配精度，在相同比特预算下降低了量化误差。我们证明了配备 TAH-Quant 的流水线并行训练保持 的收敛速率，与原始随机梯度下降相匹配。大量实验表明，TAH-Quant 实现了 3-4 比特的激进激活量化比率，在未压缩的 FP32 基础上提供了高达 4.3 倍的吞吐量加速，在 AQ-SGD 基础上提供了高达 1.33 倍的实际时间加速，同时保持了训练收敛性，避免了 AQ-SGD 的激活缓存开销，并在各种训练场景中具有良好的泛化能力。
引用
@article{arxiv.2506.01352,
title = {TAH-QUANT: Effective Activation Quantization in Pipeline Parallelism over Slow Network},
author = {Guangxin He and Yuan Cao and Yutong He and Tianyi Bai and Kai Chen and Kun Yuan and Binhang Yuan},
journal= {arXiv preprint arXiv:2506.01352},
year = {2026}
}