通过构建和复用LoRA库迈向模块化大语言模型
机器学习
2024-05-21 v1 计算与语言
摘要
基础大语言模型(LLM)的参数高效适配方法数量日益增长，这促使我们研究是否可以复用这些训练好的适配器来提升新任务的性能。我们研究了如何利用多任务数据最佳地构建适配器库，并设计了通过在该库中进行路由来实现零样本和监督任务泛化的技术。我们对构建此库的现有方法进行了基准测试，并引入了基于模型的聚类方法 MBC，该方法根据任务适配器参数的相似性对任务进行分组，从而间接优化多任务数据集上的迁移效果。为了复用该库，我们提出了一种新颖的零样本路由机制 Arrow，该机制能够动态选择与新输入最相关的适配器，而无需重新训练。我们在 Phi-2 和 Mistral 等多个 LLM 上，对一系列保留任务进行了实验，验证了基于 MBC 的适配器和 Arrow 路由能够带来对新任务更优的泛化能力。我们朝着创建模块化、可适配的 LLM 迈出了步伐，这些 LLM 能够匹配甚至超越传统的联合训练方法。
引用
@article{arxiv.2405.11157,
title = {Towards Modular LLMs by Building and Reusing a Library of LoRAs},
author = {Oleksiy Ostapenko and Zhan Su and Edoardo Maria Ponti and Laurent Charlin and Nicolas Le Roux and Matheus Pereira and Lucas Caccia and Alessandro Sordoni},
journal= {arXiv preprint arXiv:2405.11157},
year = {2024}
}