多项式扩张秩适应：通过高阶相互作用增强低秩微调
机器学习
2026-04-15 v1 人工智能
摘要
低秩适应 (LoRA) 是大型语言模型 (LLM) 高效微调的广泛使用策略，但其严格的线性结构在表达能力上存在根本性限制。LoRA 的双线性公式仅捕获低秩因子之间的一阶依赖，限制了对非线性和高阶参数相互作用的建模。在本文中，我们提出多项式扩张秩适应 (PERA)，一种一种 novel 方法，通过在低秩因子空间中直接引入结构化多项式扩张。通过对每个低秩因子进行扩展以合成高阶相互作用项，然后进行组合，PERA 将适应空间转化为能够建模更丰富非线性耦合的多项式流形，同时不增加秩或推理成本。我们提供理论分析，表明 PERA 在表达能力和特征利用效率上优于现有的线性适应方法。实验上，PERA 在 diverse benchmarks 上一致优于最先进的方法。值得注意的是，我们的实验表明，纳入高阶非线性分量（特别是平方项）对于增强表达能力和在各种秩设置下保持强大和稳健性能至关重要。我们的代码已公开于 https://github.com/zhangwenhao6/PERA。
引用
@article{arxiv.2604.11841,
title = {Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions},
author = {Wenhao Zhang and Lin Mu and Li Ni and Peiquan Jin and Yiwen Zhang},
journal= {arXiv preprint arXiv:2604.11841},
year = {2026}
}
备注
Accepted by ACL 2026 findings