MultiLoRA：以 LoRA 的民主化改进多任务学习
机器学习
2023-11-21 v1 人工智能
摘要
LoRA 在将 LLM 适配于特定任务时实现了显著的资源效率和可比的性能。自 ChatGPT 在各种任务上展现出优越性能以来，将单一模型适配于所有任务的愿望日益增长。然而，LoRA 的显式低秩限制了其在复杂多任务场景中的适配性能。LoRA 由少数顶部奇异向量主导，而微调分解为一组较不重要的酉变换。本文中，我们通过减弱 LoRA 中观察到的顶部奇异向量的主导性，提出 MultiLoRA 以实现更好的多任务适配。MultiLoRA 水平扩展 LoRA 模块并改变适配矩阵的参数初始化以减少参数依赖性，从而产生更均衡的酉子空间。我们前所未有地通过混合指令跟随、自然语言理解和世界知识的数据集构建专门训练数据，以覆盖语义和句法不同的样本。仅用 2.5% 的额外参数，MultiLoRA 在多个基准和模型规模上优于单一 LoRA 对应方法和微调。对 MultiLoRA 权重更新矩阵的进一步研究显示出对顶部奇异向量依赖的降低和更民主的酉变换贡献。
引用
@article{arxiv.2311.11501,
title = {MultiLoRA: Democratizing LoRA for Better Multi-Task Learning},
author = {Yiming Wang and Yu Lin and Xiaodong Zeng and Guannan Zhang},
journal= {arXiv preprint arXiv:2311.11501},
year = {2023}
}