基于上下文的元 LoRA 生成
计算与语言
2025-07-08 v3 人工智能
计算机视觉与模式识别
摘要
低秩适应（LoRA）已显示出在任务特定微调方面的显著能力。然而，在涉及多个任务的场景中，为每个任务单独训练一个 LoRA 模型会在存储和推理方面导致相当大的效率问题。此外，现有的参数生成方法未能捕捉这些任务之间的相关性，使得多任务 LoRA 参数生成变得具有挑战性。为解决这些限制，我们提出了一种新方法——基于上下文的元 LoRA（In-Context Meta LoRA, ICM-LoRA），实现了大型语言模型（Large Language Model, LLM）的任务特定定制。具体而言，我们使用来自所有任务的训练数据训练一个针对性的生成器，条件变分自编码器（Conditional Variational Autoencoder, CVAE）。CVAE 接受任务描述作为输入，生成任务感知的 LoRA 权重。这些 LoRA 权重随后与 LLM 合并，以无需额外微调的方式创建任务专业化模型。进一步，我们利用基于上下文的元学习进行知识增强和任务映射，以捕捉任务与参数分布之间的关系。因此，我们的方法使用 CVAE 为 diverse tasks 更准确地生成 LoRA 参数。ICM-LoRA 在当前参数重建方法中实现了更准确的 LoRA 参数重建，并且对于实现 LoRA 参数的任务特定增强非常有用。与此同时，我们的方法仅占用 283MB，仅为原始 LoRA 的 1%。
引用
@article{arxiv.2501.17635,
title = {In-Context Meta LoRA Generation},
author = {Yihua Shao and Minxi Yan and Yang Liu and Siyu Chen and Wenjie Chen and Xinwei Long and Ziyang Yan and Lei Li and Chenyu Zhang and Nicu Sebe and Hao Tang and Yan Wang and Hao Zhao and Mengzhu Wang and Jingcai Guo},
journal= {arXiv preprint arXiv:2501.17635},
year = {2025}
}
备注
Accepted by IJCAI 2025