面向更高有效秩的无参数高效微调：基于 Khatri-Rao 积
机器学习
2025-08-04 v1 计算与语言
计算机视觉与模式识别
摘要
无参数高效微调 (PEFT) 已成为适配大规模预训练模型的标准方法。在 PEFT 方法中，低秩适配 (LoRA) 取得了显著成功。然而，近期研究指出其在应用于多模态和大语言模型时与全秩方法存在局限性。本文使用具有可控谱特征的合成矩阵逼近基准，对全秩与低秩 PEFT 方法进行量化比较。我们的结果确认，LoRA 在逼近谱线较平坦或含有高频分量的矩阵时——即高有效秩的表征——时难以胜任。为此，我们提出 KRAdapter，一种新型 PEFT 算法，利用 Khatri-Rao 积生成权重更新。由于其构造特性，KRAdapter 生成的矩阵乘积倾向于具有较高的有效秩。我们在参数规模达到 1B 的视觉语言模型和参数规模达到 8B 的大语言模型上 demonstrate KRAdapter 的性能提升，尤其在未见的常识推理任务中表现突出。此外，KRAdapter 保持了 LoRA 的内存和计算效率，成为微调大规模参数模型的实用且稳健的替代方案。
引用
@article{arxiv.2508.00230,
title = {Towards Higher Effective Rank in Parameter-efficient Fine-tuning using Khatri--Rao Product},
author = {Paul Albert and Frederic Z. Zhang and Hemanth Saratchandran and Anton van den Hengel and Ehsan Abbasnejad},
journal= {arXiv preprint arXiv:2508.00230},
year = {2025}
}
备注
To appear in ICCV 2025