Kron-LoRA：面向可扩展可持续微调的混合Kronecker-LoRA适配器
机器学习
2025-09-25 v2 人工智能
摘要
在众多任务上对大型预训练语言模型进行微调需要参数高效且具表达力的适配器。我们提出\textbf{Kron-LoRA}，一种混合适配器，将Kronecker 结构分解与低秩LoRA压缩相结合——这在参数高效微调或矩阵逼近文献中，据我们所知尚未有人探索。Kron-LoRA 在参数数量上最高可减少约 4 倍，同时保持类似的表达能力。实验在 DistilBERT、Mistral-7B、LLaMA-2-7B 和 LLaMA-3-8B 上进行，覆盖八个基准任务，表明Kron-LoRA 在保持适度内存节省和仅增加 5-8% 计算开销的同时，匹配或超越LoRA基线。在顺序微调中，它还能在仅使用四分之一适配器参数的情况下，实现具有竞争力的跨任务迁移。因此，Kron-LoRA 为大型语言模型的多任务适应提供了可扩展、可持续的解决方案。
引用
@article{arxiv.2508.01961,
title = {Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning},
author = {Yixin Shen},
journal= {arXiv preprint arXiv:2508.01961},
year = {2025}
}