RoCoFT：基于行列更新的大型语言模型高效微调
计算与语言
2025-06-03 v3
摘要
我们提出 RoCoFT，一种针对大规模语言模型 (LM) 的参数高效微调方法，基于仅更新变换器权重矩阵的少数行和列。通过对中等规模 LM（如 BERT 和 RoBERTa）以及大型 LM（如 Bloom-7B、Llama2-7B 和 Llama2-13B）进行大量实验，我们表明该方法在准确率上与最先进的 PEFT 方法相当或更好，同时在内存和计算效率方面更具优势。我们还利用神经内切线理论的工具研究了该方法有效性的原因。我们经验性地表明，利用受限行和列参数集构建的内切线，与完整参数内切线在数值上非常接近，并能提供相当的分类性能。进行了消融研究以探讨不同算法选择的影响，包括行列选择策略以及有效实现该方法的最佳秩。
引用
@article{arxiv.2410.10075,
title = {RoCoFT: Efficient Finetuning of Large Language Models with Row-Column Updates},
author = {Md Kowsher and Tara Esmaeilbeig and Chun-Nam Yu and Chen Chen and Mojtaba Soltanalian and Niloofar Yousefi},
journal= {arXiv preprint arXiv:2410.10075},
year = {2025}
}
备注
RoCoFT is a parameter-efficient method