TsqLoRA：面向灵敏度与质量的低秩适配高效微调方法
计算与语言
2025-09-24 v1 人工智能
摘要
为下游任务微调大型预训练模型已成为自然语言处理中的基本方法。完全微调所有模型参数在计算和内存资源受限的环境下昂贵且耗资源。现有参数高效微调方法虽减少可训练参数数量，但通常忽视不同模型层的灵敏度差异以及训练数据的重要性。本文提出TsqLoRA，一种集成数据质量驱动选择与灵敏度感知低秩适配的新方法，包含两个主要组件：用于选择最具信息性训练数据的质量感知抽样机制，以及基于各层对参数更新灵敏度动态调整秩的动态秩分配模块。实验结果表明，TsqLoRA在保持或甚至提升性能的同时，提高了多种NLP任务上的微调效率。我们的代码将在 https://github.com/Benjamin-Ricky/TsqLoRA 上提供。
引用
@article{arxiv.2509.18585,
title = {TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning},
author = {Yu Chen and Yifei Han and Long Zhang and Yue Du and Bin Li},
journal= {arXiv preprint arXiv:2509.18585},
year = {2025}
}
备注
5 pages, 4 figures, published to ICASSP2026