ROSA: 随机子空间适配实现高效微调
机器学习
2024-07-11 v1 人工智能
计算与语言
摘要
模型训练所需的内存显著高于推理。参数高效微调（Parameter Efficient Fine-Tuning, PEFT）方法可通过降低内存消耗来适配大规模模型以应对下游任务。然而，现有方法如adapter、prompt tuning或低秩适配（LoRA）要么在推理时引入延迟开销，要么在下游任务性能上不如完全微调。本文提出随机子空间适配（Random Subspace Adaptation, ROSA），该方法在保持推理时零延迟开销的同时，显著优于先前的PEFT方法。与先前方法不同，ROSA能够适配任意尺寸的子空间，更接近全参数微调。我们在理论和实验上均表明，ROSA在不增加运行时内存消耗的前提下，严格地比LoRA更具表达能力。由于PEFT方法在自然语言处理领域尤为有用，因为模型规模使得完全微调成本极高，我们在两种常见的NLP场景中评估ROSA：自然语言生成（NLG）和自然语言理解（NLU），分别使用GPT-2和RoBERTa。我们在几乎所有GLUE任务上均表现出显著优于LoRA的性能，NLG任务上也表现出色。我们的代码已公开于https://github.com/rosa-paper/rosa
引用
@article{arxiv.2407.07802,
title = {ROSA: Random Subspace Adaptation for Efficient Fine-Tuning},
author = {Marawan Gamal Abdel Hameed and Aristides Milios and Siva Reddy and Guillaume Rabusseau},
journal= {arXiv preprint arXiv:2407.07802},
year = {2024}
}