低秩适配器中的获奖车票之旅
机器学习
2025-12-30 v1
摘要
Lottery Ticket Hypothesis (LTH) 表明，过参数化的神经网络包含稀疏子网络（“获奖车票”）能够在从零训练时匹配完整模型性能。随着对大型预训练模型细调的日益依赖，我们调查 LTH 是否延伸到参数高效细调（PEFT），具体关注低秩适配（LoRA）方法。我们的关键发现是，LTH 在 LoRA 中成立，揭示了能够匹配稠密适配器性能的稀疏子网络。特别地，我们发现稀疏子网络的有效性更多取决于每个层应用的稀疏度，而非子网络中包含的具体权重。基于这一洞见，我们提出了 Partial-LoRA 方法，系统性地识别这些子网络并训练与预训练模型任务相关子空间对齐的稀疏低秩适配器。实验在 8 个视觉任务和 12 个语言任务的单任务和多任务设置中显示，Partial-LoRA 在保持或提高准确率的同时，将可训练参数减少最高可达 87%。这些结果不仅深化了我们对迁移学习和预训练与细调之间相互作用的理论理解，也为开发更高效的适配策略开辢了新的途径。
引用
@article{arxiv.2512.22495,
title = {The Quest for Winning Tickets in Low-Rank Adapters},
author = {Hamed Damirchi and Cristian Rodriguez-Opazo and Ehsan Abbasnejad and Zhen Zhang and Javen Shi},
journal= {arXiv preprint arXiv:2512.22495},
year = {2025}
}
备注
21 pages