基础模型的批量低秩适配

低秩适配（LoRA）近期因通过引入可训练的低秩矩阵来微调基础模型，从而减少可训练参数数量而受到关注。尽管 LoRA 具有诸多优势，但其无法高效处理多个特定任务的适配器，这限制了其在为多样化、全球化用户群提供实时服务时的适用性。这在要求对每个传入请求进行个性化、特定任务适配的场景中造成了性能瓶颈。为缓解这一限制，我们提出了 Fast LoRA (FLoRA)，在该框架中，小批量中的每个输入样本都可以关联其独有的低秩适配权重，从而允许对异构请求进行高效批处理。我们通过实验证明，FLoRA 保留了 LoRA 的性能优势，在涵盖 8 种以上语言的 MultiPL-E 代码生成基准测试和跨越 6 种语言的多语言语音识别任务中均展现出具有竞争力的结果。