通过表示编辑推进微调中的参数效率
机器学习
2024-06-04 v3 计算与语言
摘要
参数高效微调技术因仅更新少量可调参数即可获得有竞争力的结果而引起了广泛关注。然而，现有的PEFT方法在超参数选择上存在挑战，例如为LoRA或适配器选择秩，或指定软提示的长度。为了解决这些挑战，我们提出了一种新颖的神经模型微调方法，名为表示编辑（RED），它通过应用缩放和偏置操作来修改某些层生成的表示。虽然现有的PEFT方法仍然表现出过参数化，可能损害从预训练中获得的泛化能力，但RED可以将可训练参数数量大幅减少：与全参数微调相比减少25,700倍，与LoRA相比减少32倍。值得注意的是，RED取得了与全参数微调和其他PEFT方法相当或更优的结果。在多种模型架构和规模（包括RoBERTa、GPT-2、T5和LLaMA-2）上的大量实验证明了RED的有效性和效率，从而将其定位为大规模神经模型的一种有前景的PEFT策略。
引用
@article{arxiv.2402.15179,
title = {Advancing Parameter Efficiency in Fine-tuning via Representation Editing},
author = {Muling Wu and Wenhao Liu and Xiaohua Wang and Tianlong Li and Changze Lv and Zixuan Ling and Jianhao Zhu and Cenyuan Zhang and Xiaoqing Zheng and Xuanjing Huang},
journal= {arXiv preprint arXiv:2402.15179},
year = {2024}
}