TensLoRA：低秩适应的张量替代方案
机器学习
2026-02-06 v3 人工智能
摘要
低秩适应（LoRA）通过向注意力投影添加可训练的低秩矩阵，被广泛用于高效地适应 Transformer。虽然有效，但这些矩阵对于每个注意力投影（查询、键和值）以及每一层都被视为独立的。最近的扩展考虑了联合的、基于张量的适应，但仅限于有限的形式，且缺乏一个系统性的框架。我们引入了 TensLoRA，这是一个统一的框架，它将 LoRA 更新聚合到高阶张量中，并对一大类基于张量的低秩适应进行建模。我们的公式推广了现有的基于张量的方法，并支持特定于模式的压缩率，允许根据模态和任务定制参数预算。在视觉和语言基准上的实验表明，张量的构造直接影响性能，在相似的参数量下，有时优于标准 LoRA。
引用
@article{arxiv.2509.19391,
title = {TensLoRA: Tensor Alternatives for Low-Rank Adaptation},
author = {Axel Marmoret and Reda Bensaid and Jonathan Lys and Vincent Gripon and François Leduc-Primeau},
journal= {arXiv preprint arXiv:2509.19391},
year = {2026}
}
备注
Published at ICASSP 2026. 5 pages, 1 figure, 2 tables. Code can be found at https://github.com/ax-le/TensLoRA