MetaLoRA：基于张量的自适应低秩微调方法

神经网络模型的部署量显著增加，带来了模型适应和微调的重大挑战。有效的适应对于在不同任务和领域间保持模型性能至关重要。虽然低秩适应（LoRA）作为一种具有前景的参数高效微调方法，但其固定参数的本质限制了其有效处理动态任务需求的能力。针对新任务的模型适应因需要大量微调而具有挑战性。当前LoRA变体主要关注一般参数降低，忽视了动态参数调整和元学习能力的重要性。此外，现有方法主要解决静态适应，忽视了任务感知参数生成在处理多样化任务分布方面的潜在优势。为此，本文提出一种LoRA生成方法以建模任务间关系，引入MetaLoRA—a 一种融合元学习原理的新型参数高效适应框架。本工作构建了综合架构，将元参数生成与自适应低秩分解集成，高效处理任务特定和任务中性特征。MetaLoRA通过纳入元学习机制和动态参数调整策略，准确捕获任务模式。据此，我们的研究在提供改进适应能力的同时，维持模型微调的计算效率方面，首次尝试构建一种基于元学习的LoRA变体。