SpectralLoRA：低频结构是否足以进行 LoRA 适配？权重更新的谱分析
摘要
我们对 LoRA 权重更新的谱结构进行系统实证研究。通过对 BERT-base 和 RoBERTa-base 上的四个 GLUE 基准（SST-2、MNLI、CoLA、QQP）中训练得到的适配矩阵进行 2D 离散余弦变换（DCT）分析，我们确立了 LoRA 更新在频谱上完全由低频分量主导：平均情况下，仅 33% 的 DCT 系数即可捕获 90% 的总谱能。仅保留 10% 的频率系数即可在存储中实现 10 倍压缩，而在 SST-2 上仅损失 1.95 个百分点。值得注意的是，在 8 个模型-任务对中，k=50% 的频率掩码可在 3 个情形下超越完整 LoRA，表明高频分量充当适应性噪声。我们进一步发现，RoBERTa-base 在所有任务中均系统性地比 BERT-base 更具谱可压缩性，并且任务复杂度决定谱灵敏性：NLI 任务需要更多的频率预算而情感分类则较少。随后进行的 SVD-DCT 相关性分析（Pearson r=0.906, p<1e-9）将经验上的 33% 常数与 SGD（Olsen 等，2025）的谱动力学相联系，为此发现提供了理论依据。这一发现为 PEFT 的新设计原则——适配的谱稀疏性——提供了动力。
引用
@article{arxiv.2604.10649,
title = {SpectralLoRA: Is Low-Frequency Structure Sufficient for LoRA Adaptation? A Spectral Analysis of Weight Updates},
author = {Rajveer Singh},
journal= {arXiv preprint arXiv:2604.10649},
year = {2026}
}
备注
v2: Added SVD-DCT correlation analysis (Pearson r=0.906, p<1e-9) connecting the empirical ~33% spectral constant to the Dyson Brownian Motion framework of Olsen et al. (2025); updated Section 7 and References. 11 pages, 6 figures, 7 tables. Indian Institute of Technology Roorkee