AMAQ：适用于协作参数高效微调的自适应混合位激活量化
机器学习
2025-10-08 v1 人工智能
计算与语言
摘要
大型语言模型（LLM）正在快速扩张，这在协作服务器客户端分布式训练中造成了显著挑战，尤其是就通信效率和计算开销而言。为解决这些挑战，我们实现了参数高效分段学习，有效平衡了低资源设备上的协作训练的效率和性能。为了减少协作训练中的通信开销，我们引入自适应混合位激活量化（AMAQ），这是一种逐步将激活和梯度从高精度（6 到 8 位）压缩到低精度（3 到 4 位）的策略。AMAQ 通过基于特征和层重要性分配位预算来实现这一点，并使用位正则化。在相同的位预算下，AMAQ 优于固定精度方法，为像 LLaMA3 8B 和 Qwen2.5 7B 这样的模型提供约 2.5% 更高的生成准确率和约 1.3% 更好的分类准确率。此外，它显著增强了训练稳定性，并减少了在极低位表示下的崩溃。实验表明，AMAQ 能够有效集成到实际的多机器协作训练设置中，仅在位适应训练期间提供适度的通信开销，却为仅提供低通信成本的协作训练提供了卓越的推理准确率。这一权衡使得 AMAQ 成为协作训练中实用且有效的解决方案。
引用
@article{arxiv.2510.05468,
title = {AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning},
author = {Yurun Song and Zhuoyi Yang and Ian G. Harris and Sangeetha Abdu Jyothi},
journal= {arXiv preprint arXiv:2510.05468},
year = {2025}
}
备注
14 pages