Astra：基于激活空间尾特征向量的低秩适配
计算与语言
2026-02-24 v1
摘要
参数高效微调 (PEFT) 方法，尤其是 LoRA，因其计算和存储效率而广泛用于将预训练模型适配到下游任务。然而，在 LoRA 及其变体的背景下，对应于尾特征向量的激活子空间的潜力仍受到严重 underutilization，这可能导致次优的微调性能。在本工作中，我们提出了 Astra (Activation-Space Tail-Eigenvector Low-Rank Adaptation)，一种新的 PEFT 方法，该方法利用从小型任务特定校准集估计的模型输出激活的尾特征向量来构建任务自适应低秩适配器。通过将更新限制在这些尾特征向量张开的子空间内，Astra 实现了更快的收敛和 improved 下游性能，同时显著降低了参数预算。广泛的实验在自然语言理解 (NLU) 和自然语言生成 (NLG) 任务上表明，Astra 在 16 个基准测试中 consistently outperform 现有 PEFT baseline，甚至在某些情景下超过 full fine-tuning (FFT)。
引用
@article{arxiv.2602.19111,
title = {Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models},
author = {Kainan Liu and Yong Zhang and Ning Cheng and Yun Zhu and Yanmeng Wang and Shaojun Wang and Jing Xiao},
journal= {arXiv preprint arXiv:2602.19111},
year = {2026}
}
备注
22 pages, 10 figures