IMPACT：重要性感知的激活空间重构
机器学习
2026-04-22 v4 机器学习
摘要
大型语言模型（LLMs）在各类领域取得了优异的性能，但由于其庞大规模，仍难以在资源受限的环境中部署。低秩压缩是常见的解决方案，通常以最小化权重重构误差为目标，假设权重具有低秩特性。然而，这一假设在 LLMs 中往往不成立。相反，LLM 激活值呈现更显著的低秩结构，激励着最小化激活重构误差的方法。尽管如此，仅凭这一转变仍不够：不同的激活维度对模型性能贡献不等，统一对待它们可能导致精度损失。我们提出了 IMPACT—a importance-aware 激活重构框架，将压缩与模型性能效应相联系。IMPACT 将压缩建模为一个优化问题，集成激活结构与梯度基的重要性，推导出一种闭式解，其中重构基来自 importance 加权的激活协方差矩阵。这导致针对精度保持显式优化的低秩压缩。跨多个模型和任务的实验表明，IMPACT 在保持精度与 SOTA 方法相当或更佳的同时，实现了最高可达 55.4% 的模型规模降低。
引用
@article{arxiv.2507.03828,
title = {IMPACT: Importance-Aware Activation Space Reconstruction},
author = {Md Mokarram Chowdhury and Daniel Agyei Asante and Ernie Chang and Yang Li},
journal= {arXiv preprint arXiv:2507.03828},
year = {2026}
}
备注
To appear in the Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)