稀疏随机参数适配：稀疏即所需
综合经济学
2025-02-25 v1 经济学
摘要
随着模型规模的增长，针对大型语言模型进行对齐和任务适应的全参数微调已变得昂贵。参数高效微调（PEFT）方法旨在通过仅训练少量参数来大幅减少微调这些模型所需的计算和内存资源。当前最流行的PEFT方法是低秩适配（LoRA），它冻结模型参数并以低秩矩阵形式引入一小部分可训练参数。我们提出一种简单方法：随机选择少量模型参数进行训练，而固定所有其他参数，不依赖任何额外的先验假设（如低秩结构）。本文比较了我们方法与其他PEFT方法以及全参数微调的效率与性能。我们发现，在使用相似数量的可训练参数时，我们的方法与LoRA相当。我们的发现表明，PEFT技术运行良好并非取决于特定的适配器结构，而而是取决于所使用的可训练参数的数量。
引用
@article{arxiv.2502.15974,
title = {Sticky information and price controls: Evidence from a natural experiment},
author = {Doron Sayag and Avichai Snir and Daniel Levy},
journal= {arXiv preprint arXiv:2502.15974},
year = {2025}
}
备注
The file contains the paper and the appendix