LoSiA：通过子网定位与优化实现高效高秩微调
机器学习
2025-09-25 v4 人工智能
摘要
参数高效微调方法（如LoRA）通过引入低秩分解矩阵显著减少了可训练参数的数量。然而，现有方法在领域专化任务中执行大量矩阵乘法，导致计算效率低下和次优的微调性能。为此，我们提出LoSiA（低资源子网集成适配），一种在训练过程中动态定位并优化关键参数的创新方法。具体而言，它利用梯度稀疏性分析识别一个子网络，并将其作为可训练目标进行优化。这种设计通过仅更新子网络参数实现有效的高秩适配，减少了额外的矩阵乘法。我们还提出了LoSiA-Pro，一种LoSiA的更快实现，其训练延迟相比LoRA降低了约27%。大量评估表明，我们的方法在全微调中实现了最小的性能下降，同时在领域专化和常识推理任务中所需的训练时间最少。进一步分析显示，LoSiA在持续训练过程中也减少了遗忘。源代码可在https://github.com/KlozeWang/LoSiA获取。
引用
@article{arxiv.2507.04487,
title = {LoSiA: Efficient High-Rank Fine-Tuning via Subnet Localization and Optimization},
author = {Xujia Wang and Yunjia Qi and Bin Xu},
journal= {arXiv preprint arXiv:2507.04487},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Oral); 20 pages, 12 figures