面向大语言模型的双稀疏稀疏+惰性低秩适配器预训练方法
机器学习
2025-01-28 v3 人工智能
摘要
我们提出了SLoPe，即一种用于大语言模型（LLMs）的双稀疏稀疏+惰性低秩适配器预训练方法，通过该方法可以在提高稀疏LLMs准确率的同时加快其预训练和推理速度，并降低其内存占用。稀疏LLMs的预训练会降低模型准确率，为此以往工作在微调期间使用密集模型。SLoPe通过在预训练的最后1%迭代中添加低秩适配器来提高稀疏预训练模型的准确率，而不会对模型预训练和推理造成显著开销。此外，SLoPe采用双稀疏反向传播公式，该公式使用N:M稀疏结构对转置权重矩阵进行稀疏化，以实现加速的稀疏反向传播。SLoPe在具有数十亿参数的模型（如OPT-33B和OPT-66B）的训练和推理方面分别加快了和，同时在训练和推理方面的内存占用分别降低了和。
引用
@article{arxiv.2405.16325,
title = {SLoPe: Double-Pruned Sparse Plus Lazy Low-Rank Adapter Pretraining of LLMs},
author = {Mohammad Mozaffari and Amir Yazdanbakhsh and Zhao Zhang and Maryam Mehri Dehnavi},
journal= {arXiv preprint arXiv:2405.16325},
year = {2025}
}
备注
Published at ICLR2025