MiSS：以高效分片共享结构重访 LoRA 中的权衡
计算与语言
2025-12-15 v12 人工智能
摘要
低秩适应（LoRA）是参数高效微调中广泛采用的方法，但其缓慢收敛促使开发了众多变体。然而，现有方法往往无法在性能、内存占用和计算效率之间同时实现改进。为此，我们重新审视了 LoRA 渐变收敛的原因。基于这些见解，我们提出矩阵分片共享（MiSS），使用单个共享可训练矩阵 更新原始权矩阵的分片，该矩阵初始化为零。为同时确保计算效率、低内存占用和可扩展的部署，我们引入了 MiSS。理论分析和实证结果表明，我们的方法在不妥协性能的前提下减少了优化复杂度，从而实现了性能、内存和效率之间的更具竞争力的权衡。此外，我们进行了全面的比较分析，评估了各种 PEFT 方法的内存使用情况、初始化开销和计算效率。通过绘制这些维度的 Pareto 前沿，我们表明 MiSS 位于具有优势的位置，有效地捕捉了先前方法的优势。
引用
@article{arxiv.2409.15371,
title = {MiSS: Revisiting the Trade-off in LoRA with an Efficient Shard-Sharing Structure},
author = {Jiale Kang and Qingyu Yin},
journal= {arXiv preprint arXiv:2409.15371},
year = {2025}
}