TASO: 基于任务对齐稀疏优化的参数高效模型适应
计算与语言
2026-02-16 v2 计算机视觉与模式识别
摘要
LoRA 因其简单性和有效性而成为最广泛使用的参数高效微调方法之一. 然而, 许多研究表明 LoRA 常会引入 substantial 参数冗余, 这不仅会增加可训练参数的数量, 也会阻碍微调效果. 由于在 LoRA 中识别冗余参数本质上具有困难, 如何高效准确地消除它们仍是一个具有挑战性的问题. 本文提出 TASO, 一种利用来自预训练模型权重重要性信息的冗余减少方法, 以缓解 LoRA 冗余. 具体而言, 我们在下游任务上估计参数重要性, 并基于重要性得分的分布识别出 task-specific core 区域. 这些 core 区域的位置信息随后用于确定 LoRA 模块的稀疏结构, 从而在微调前消除冗余. 我们的方法显著减少了任务适应所需的可训练参数数量, 并为 LoRA 冗余减少提供了一种新的 task-aligned 视角. 实验结果表明, 在与 LoRA rank= 相当的 参数预算下, TASO 在多个任务上 consistently 超越标准 LoRA, 在实现强劲微调性能的同时, 有效消除了冗余参数.
引用
@article{arxiv.2509.17688,
title = {TASO: Task-Aligned Sparse Optimization for Parameter-Efficient Model Adaptation},
author = {Daiye Miao and Yufang Liu and Jie Wang and Changzhi Sun and Yunke Zhang and Demei Yan and Shaokang Dong and Qi Zhang and Yuanbin Wu},
journal= {arXiv preprint arXiv:2509.17688},
year = {2026}
}
备注
Accepted to EMNLP 2025 (Main Conference),13 pages,10 figures