Shears：基于神经低秩适配器搜索的非结构化稀疏化
机器学习
2024-04-18 v1 人工智能
计算与语言
摘要
最近，几种方法成功地表明，权重共享的神经体系结构搜索（NAS）可以有效地探索弹性低秩适配器（LoRA）的搜索空间，从而实现大语言模型的参数高效微调（PEFT）和压缩。在本文中，我们引入一种新方法，称为 Shears，进一步通过集成成本效益稀疏化和提出的神经低秩适配器搜索（NLS）算法来提高 PEFT 方法的效率。结果表明，Shears 相对于其他方法具有优势，能够实现高稀疏水平，同时在准确率上有所提高或几乎没有下降，仅需一对 GPU 运行几个小时。
引用
@article{arxiv.2404.10934,
title = {Shears: Unstructured Sparsity with Neural Low-rank Adapter Search},
author = {J. Pablo Muñoz and Jinjie Yuan and Nilesh Jain},
journal= {arXiv preprint arXiv:2404.10934},
year = {2024}
}
备注
2024 Annual Conference of the North American Chapter of the Association for Computational Linguistics (Industry Track)