EDoRA：通过奇异值分解实现高效权重分解低秩适配
机器学习
2025-01-22 v1 人工智能
计算与语言
摘要
参数高效微调方法，如LoRA，减少了可训练参数的数量，但常常存在可扩展性问题以及其学习模式与全参数微调之间的差异。为克服这些限制，我们提出了有效权重分解低秩适配（EDoRA）：一种新的PEFT方法，该方法将预训练权重分解为幅度和方向分量。通过冻结低秩矩阵、使用奇异值分解初始化它们，并在它们之间引入小型可训练矩阵，EDoRA在显著减少可训练参数的同时保持学习能力。在GLUE基准测试中，EDoRA的表现与SOTA方法（如LoRA和DoRA）相当或更优，所需可训练参数最多可减少30倍。这使得EDoRA在受内存限制的设置下为为LLM适应 diverse tasks 提供了高度有效的解决方案。代码可在 https://github.com/Hamid-Nasiri/EDoRA 获取。
引用
@article{arxiv.2501.12067,
title = {EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition},
author = {Hamid Nasiri and Peter Garraghan},
journal= {arXiv preprint arXiv:2501.12067},
year = {2025}
}
备注
10 pages, 4 figures, 4 tables