LoraRetriever：野生环境中混合任务的输入感知LoRA检索与组合
人工智能
2024-02-20 v1 计算与语言
机器学习
摘要
低秩适应(LoRA)为微调大型语言模型(LLM)提供了有效且高效的解决方案。LoRA的模块化和即插即用特性使其能够集成多种领域特定LoRA以增强LLM的能力。现有研究在利用多个LoRA时要么专注于特定的孤立下游任务，要么在训练期间固定LoRA的选择。然而，在实际场景中，LLM接收的提示涵盖不同任务，候选LoRA池常常是动态更新的。为弥合这一差距，我们提出LoraRetriever，一个检索-组合框架，根据输入提示自适应检索和组合多个LoRA。LoraRetriever包含三个主要组件：首先，识别并检索与给定输入相关的LoRA；其次，制定有效整合检索到的LoRA的策略；最后，开发高效批处理推理以适应异构请求。实验结果表明，LoraRetriever consistently优于基线方法，凸显了其实际有效性和通用性。
引用
@article{arxiv.2402.09997,
title = {LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild},
author = {Ziyu Zhao and Leilei Gan and Guoyin Wang and Wangchunshu Zhou and Hongxia Yang and Kun Kuang and Fei Wu},
journal= {arXiv preprint arXiv:2402.09997},
year = {2024}
}