面向多任务适应的 In-Context 元优化 LoRA 混合方法
计算机视觉与模式识别
2025-08-07 v1
摘要
为增强预训练低秩适应(LoRA)模型的泛化能力，必须实现其在多任务场景下的适应。大多数现有预训练 LoRA 混合方法通过分解权矩阵来实现参数共享，同时合并产生差异的参数。然而，这种范式不可避免地导致权重间的冲突，并引发严重的域漂移。在 few-shot 场景下，递增学习方法难以实现泛化。当权重数据遵循长尾分布时，混合权重可能导致遗忘现象。为此，我们提出 In-Context 元 LoRA 混合(ICM-Fusion)框架，将元学习与 in-context 适应相结合。关键创新在于我们的方法向量算术，通过学习的流形投影动态平衡跨域的冲突优化方向。ICM-Fusion 通过调整任务向量的方向，在潜在空间中获得融合模型的最优任务向量取向。随后，融合 LoRA 通过自主设计的 Fusion VAE(F-VAE)进行重构，以实现多任务 LoRA 生成。我们在视觉和语言任务上进行了广泛实验，结果表明 ICM-Fusion 能适用于广泛的模型架构并可用于各种任务。与当前预训练 LoRA 混合方法相比，ICM-Fusion 生成的 LoRA 可显著降低多任务损失，甚至在 few-shot 场景下实现任务增强。
关键词
引用
@article{arxiv.2508.04153,
title = {ICM-Fusion: In-Context Meta-Optimized LoRA Fusion for Multi-Task Adaptation},
author = {Yihua Shao and Xiaofeng Lin and Xinwei Long and Siyu Chen and Minxi Yan and Yang Liu and Ziyang Yan and Ao Ma and Hao Tang and Jingcai Guo},
journal= {arXiv preprint arXiv:2508.04153},
year = {2025}
}