用于高效与隐私微调的联合重参数化多层适配
计算与语言
2023-05-31 v1 机器学习
摘要
预训练语言 transformer 的高效微调正日益普遍地用于解决自然语言处理任务。尽管有效，其仍可能需要大量可调参数。这对低资源应用与带差分隐私约束的训练而言是一缺陷，因为微调过程中可能引入过多噪声。为此，我们提出一种新颖的语言 transformer 微调策略，在多个 transformer 层中引入任务特定参数。这些参数由单一可训练向量的固定随机投影导出，从而以显著更少的参数进行微调并保持性能。在 GLUE 任务上，我们以每任务少至 4,100 个参数取得了全微调性能 95% 以内的表现，优于其他使用相近每任务参数量的参数高效微调方法。此外，随机投影可在推理时预计算，避免额外计算延迟。这些都使我们的方法对低资源应用尤为具吸引力。最后，在相同的隐私约束下训练时，相较若干近期微调方法，我们的方法取得了最佳或相当的效用，凸显其有效性与潜在现实影响。
引用
@article{arxiv.2305.19264,
title = {Jointly Reparametrized Multi-Layer Adaptation for Efficient and Private Tuning},
author = {Umang Gupta and Aram Galstyan and Greg Ver Steeg},
journal= {arXiv preprint arXiv:2305.19264},
year = {2023}
}
备注
To appear in the Findings of ACL 2023. Code available at https://github.com/umgupta/jointly-reparametrized-finetuning