SQFT：低精度稀疏基础模型的低成本模型适配
机器学习
2024-10-08 v1 人工智能
计算与语言
摘要
大型预训练模型（LPMs），如大型语言模型，已广泛应用于众多应用场景。这些模型通常通过微调阶段适配到特定领域或下游任务。本文提出了 SQFT，一种用于大型预训练模型低精度稀疏参数高效微调的端到端解决方案，使其在资源受限环境中能够有效进行模型操作。此外，一种创新策略使稀疏权重与低秩适配器能够在不损失稀疏性和准确性的前提下进行合并，克服了以往方法的局限性。SQFT 还解决了量化权重和适配器不同数值精度的挑战，使其能够以所需的数值格式进行合并，而不会牺牲准确性。多个适应场景、模型和全面的稀疏性水平均表明了 SQFT 的有效性。模型和代码已提供：https://github.com/IntelLabs/Hardware-Aware-Automated-Machine-Learning
引用
@article{arxiv.2410.03750,
title = {SQFT: Low-cost Model Adaptation in Low-precision Sparse Foundation Models},
author = {Juan Pablo Muñoz and Jinjie Yuan and Nilesh Jain},
journal= {arXiv preprint arXiv:2410.03750},
year = {2024}
}
备注
To be published in EMNLP-24 Findings