扩展稀疏调参以降低内存使用

参数高效微调（PEFT）是一种通过调参少量参数来适应预训练视觉模型以下游任务的有效方法。在 PEFT 方法中，稀疏调参通过仅调整与下游任务最相关的权重，而非密集调参整个权重矩阵，实现了优越的性能。然而，这种性能提升伴随着内存使用的增加，这源于两个因素，即优化器中整个权重矩阵作为可学习参数的存储以及可调权重索引的额外存储。在本文中，我们提出了一种名为 SNELL（Sparse tuning with kerNELized LoRA）的方法，用于低内存使用的稀疏调参。为实现低内存使用，SNELL 将用于稀疏化的可调矩阵分解为两个可学习的低秩矩阵，从而节省了存储整个原始矩阵的高昂代价。进一步提出了一种竞争式稀疏化机制，以避免存储可调权重索引。为保持低秩矩阵的稀疏调参有效性，我们通过在整个矩阵合并上应用非线性核函数来扩展低秩分解。因此，我们增加了合并矩阵的秩，增强了 SNELL 将预训练模型适应下游任务的能力。在多个下游任务上的广泛实验表明，SNELL 在低内存使用下实现了最先进性能，为 PEFT 赋予了大规模模型的稀疏调参能力。代码可在 https://github.com/ssfgunner/SNELL 获取。