TLoRA：面向大型语言模型的任务感知低秩适配
计算与语言
2026-04-21 v1 人工智能
摘要
低秩适配(LoRA)已成为大型语言模型参数高效微调的广泛采用方法，其有效性大大受到秩分配和缩放因子以及初始化方式的影响。现有LoRA变体通常仅解决上述因素之一，往往以增加训练复杂度或降低实际效率为代价。本文我们提出任务感知低秩适配(TLoRA)，一个统一框架，旨在训练初期联合优化初始化和资源分配。TLoRA 引入一种数据驱动的初始化策略，通过对预训练权重与输入激活协方差乘积的奇异值分解，将 LoRA A 矩阵与任务相关子空间对齐。在此基础上冻结 A 矩阵，仅训练 B 矩阵。此外，TLoRA 采用基于灵敏度的重要性度量，在固定参数预算下跨层自适应分配秩和缩放因子。我们进行了大规模实验，表明TLoRA 在各种任务上均表现卓越，包括自然语言理解、常识推理、数学推理、代码生成和聊天生成，同时显著减少了可训练参数的数量。
引用
@article{arxiv.2604.18124,
title = {TLoRA: Task-aware Low Rank Adaptation of Large Language Models},
author = {Weicheng Lin and Yi Zhang and Jiawei Dang and Liang-Jie Zhang},
journal= {arXiv preprint arXiv:2604.18124},
year = {2026}
}
备注
Accept to ACL 2026