ResLoRA：低秩自适应中的恒等残差映射
计算与语言
2024-02-29 v1 人工智能
摘要
作为最流行的参数高效微调（PEFT）方法之一，低秩自适应（LoRA）常用于微调大型语言模型（LLMs）。然而，由于原始模型中的计算路径较长，有效且迅速地更新 LoRA 块的权重具有挑战性。为解决这一问题，我们提出了 ResLoRA，一种改进的 LoRA 框架。通过在训练期间添加残差路径，并在推理期间使用合并方法消除这些额外路径，我们的方法能够在不增加任何额外可训练参数或推理成本的情况下，比 LoRA 用更少的训练步骤获得更好的结果。在自然语言生成（NLG）、自然语言理解（NLU）和文本到图像任务上的实验证明了该方法的有效性。据我们所知，ResLoRA 是首个将残差路径与 LoRA 结合的工作。我们方法的代码可在 https://github.com/microsoft/LMOps/tree/main/reslora 获取。
引用
@article{arxiv.2402.18039,
title = {ResLoRA: Identity Residual Mapping in Low-Rank Adaption},
author = {Shuhua Shi and Shaohan Huang and Minghui Song and Zhoujun Li and Zihan Zhang and Haizhen Huang and Furu Wei and Weiwei Deng and Feng Sun and Qi Zhang},
journal= {arXiv preprint arXiv:2402.18039},
year = {2024}
}
备注
14 pages, 7 figures