ThanoRA：基于任务异构性的多任务低秩适配
机器学习
2025-09-30 v2 人工智能
摘要
低秩适配 (LoRA) 因其高效性和零额外推理成本而广泛应用于基础模型的下游微调。许多实际场景要求基础模型同时专注于多个特定任务，催生了高效多任务下游适配的需求。现有研究主要聚焦两条路径：一种是 LoRA 模型合并，虽适用于无训练场景，但在整体性能上仍落后于多任务训练；另一种是基于混合专家 (MoE) 的 LoRA 方法，虽提升了多任务学习性能，但引入的路由器破坏了 LoRA 参数的可合并性，并带来显著推理开销，限制了实际部署的可行性。为此，我们提出 ThanoRA，一个实现有效、高效、统一多任务下游适配的框架，无需引入额外结构。ThanoRA 通过在初始化时分配差异化的子空间维度，驱动任务间异构性，实现细粒度知识注入；同时通过多样性保持正则化抑制任务干扰和子空间坍缩，充分发挥低秩容量。广泛的实验表明，在多模态和文本单任务基准测试中，ThanoRA 始终优于强基准，甚至超越独立任务特定微调，却不引入额外结构或推理开销。我们的代码将在 https://github.com/LiangJian24/ThanoRA 公开。
引用
@article{arxiv.2505.18640,
title = {ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation},
author = {Jian Liang and Wenke Huang and Xianda Guo and Guancheng Wan and Bo Du and Mang Ye},
journal= {arXiv preprint arXiv:2505.18640},
year = {2025}
}