利用结构化非线性变换增强低秩适配
计算与语言
2025-09-29 v1 人工智能
摘要
低秩适配是一种被广泛采用的大语言模型参数高效微调方法。然而，其线性特性限制了表达能力。我们提出了 LoRAN，一种 LoRA 的非线性扩展，对低秩更新应用轻量级变换。我们进一步引入了 Sinter，一种基于正弦的激活函数，在不增加参数量的情况下添加结构化扰动。在摘要和分类任务上的实验表明，LoRAN 相比 QLoRA 取得了一致的提升。消融研究表明，Sinter 优于 Sigmoid、ReLU 和 Tanh 等标准激活函数，凸显了激活函数设计在低秩微调中的重要性。
引用
@article{arxiv.2509.21870,
title = {Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations},
author = {Guanzhi Deng and Mingyang Liu and Dapeng Wu and Yinqiao Li and Linqi Song},
journal= {arXiv preprint arXiv:2509.21870},
year = {2025}
}
备注
This manuscript has been submitted to IEEE Journal of Selected Topics in Signal Processing (JSTSP) for review. Until the moment I submitted the manuscript to arXiv, we haven't received any review comments from JSTSP