FreeAct：释放激活以实现 LLM 量化

量化是缓解大语言模型(LLM)显著内存和计算开销的关键技术。虽然新兴的基于转换的方法已成功通过将特征空间投影到更光滑的流形上（使用正交矩阵）来增强量化，但它们通常强制实施严格的一对一转换约束。这种静态方法未能考虑输入激活中固有的动态模式，特别是在扩散 LLM(dLLM)和多模态 LLM(MLLM)中，不同类型的 token 具有不同的分布。为此，我们提出了 FreeAct，一种新的量化框架，放宽静态的一对一约束以适应动态激活差异。理论上，我们利用激活的秩不足特性，推导出超出简单逆矩阵的解空间，使激活转换能够从权重中解耦。方法上，FreeAct识别特定于 token 的动态模式（即视觉与文本，或被遮盖的 token），并在激活侧分配不同的转换矩阵，同时保持权重侧的统一、静态转换。广泛的实验在 dLLM 和 MLM 上表明，FreeAct 相对于基线显著优于，最高可实现 5.3% 的性能提升，并进行深入分析。我们的代码将公开发布。