单个线性层生成任务自适应的低秩矩阵
计算与语言
2024-03-25 v1 人工智能
机器学习
摘要
低秩自适应（LoRA）是一种广泛使用的参数高效微调（PEFT）方法，它通过由两个低秩矩阵 和 组成的增量矩阵 来更新初始权重矩阵 。先前的一项研究表明， 和 之间存在相关性。在本研究中，我们旨在更深入地探讨 与低秩矩阵 和 之间的关系，以进一步理解 LoRA 的行为。具体而言，我们分析了一个将 转换为低秩矩阵的转换矩阵，该矩阵封装了关于这些关系的信息。我们的分析表明，各层的转换矩阵是相似的。受这些发现的启发，我们假设一个以每层的 作为输入的单个线性层可以生成任务自适应的低秩矩阵。为了证实这一假设，我们设计了一种名为条件参数化 LoRA（CondLoRA）的方法，该方法使用从单个线性层导出的低秩矩阵来更新初始权重矩阵。我们的实证结果表明，尽管 CondLoRA 的可训练参数少于 LoRA，但 CondLoRA 保持了与 LoRA 相当的性能。因此，我们得出结论：“单个线性层生成任务自适应的低秩矩阵。”
引用
@article{arxiv.2403.14946,
title = {A Single Linear Layer Yields Task-Adapted Low-Rank Matrices},
author = {Hwichan Kim and Shota Sasaki and Sho Hoshino and Ukyo Honda},
journal= {arXiv preprint arXiv:2403.14946},
year = {2024}
}
备注
Accepted at LREC-COLING 2024