免费提升模型容量：参数高效微调的简单策略

最近，针对下游任务，人们越来越关注对大型预训练基础模型（如 175B 参数的 GPT-3）进行微调。虽然已提出并证明有效的无需重新训练所有模型参数的方法受到关注，但其性能受限于增量模块的容量，尤其是在受限参数预算的情况下。为克服这一挑战，我们提出了 CapaBoost—a 一种简单而有效的策略，通过在目标层中利用并行权重模块中的低秩更新来增强模型容量。通过对共享权重矩阵应用静态随机掩码，CapaBoost 构建了一组多样化的权重矩阵，有效地在不增加参数的前提下提高了增量权重的秩。值得注意的是，我们的方法可以无缝集成到各种现有的无参数高效微调方法中。我们通过在多样化的下游任务上的实验充分验证了 CapaBoost 的有效性，包括自然语言理解、问答和图像分类。我们的結果显示，在不 incurring 额外计算或存储成本的情况下，CapaBoost 在基准方法上取得显著改进。我们的コード可在 \url{https://github.com/LINs-lab/CapaBoost} 获取。