CoSA：基于压缩感知的大语言模型适应方法
机器学习
2026-02-13 v2 人工智能
摘要
参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）已成为一种实用范式，用于在不更新所有参数的情况下适应大语言模型（LLM）。但大多数现有方法，如 LoRA 和 PiSSA，都依赖于权重更新的低秩分解。然而，低秩假设在特定任务的适应场景中可能限制表达能力，尤其是当奇异值分布相对均匀时。为此，我们提出了 CoSA（Compressed Sensing-Based Adaptation），一种新颖的 PEFT 方法，基于压缩感知理论扩展而来。CoSA 通过固定随机投影矩阵和紧凑可学习的核心来表达权重更新，而不是将其限制在低秩子空间中。我们对 CoSA 进行了形式化的理论分析，将其视为一个合成过程，证明了权重更新如何被紧凑地编码到低维空间中，然后通过随机投影进行映射。大量实验结果表明，CoSA 为高效且具有表达力的多尺度模型适应提供了原则化的视角。具体而言，我们在 10 个多样化任务上评估了 CoSA，包括自然语言理解和生成，采用来自 RoBERTa、Llama 和 Qwen 系列的 5 个不同规模的模型。在这些设置下，CoSA 始终能够匹配或优于最先进的 PEFT 方法。
引用
@article{arxiv.2602.05148,
title = {CoSA: Compressed Sensing-Based Adaptation of Large Language Models},
author = {Songtao Wei and Yi Li and Bohan Zhang and Zhichun Guo and Ying Huang and Yuede Ji and Miao Yin and Guanpeng Li and Bingzhe Li},
journal= {arXiv preprint arXiv:2602.05148},
year = {2026}
}