用于大型预训练语言模型参数高效微调的神经架构搜索
计算与语言
2023-05-29 v1 人工智能
机器学习
摘要
参数高效微调（PET）方法通过将模型参数子集的小型压缩更新，或向预训练网络追加并微调少量新模型参数，使预训练语言模型（PLMs）适配下游任务。文献中手工设计的 PET 架构在实践中表现良好，但有望通过自动化神经架构搜索（NAS）得以改进。我们提出一种高效的 NAS 方法，通过结构化与非结构化剪枝学习 PET 架构。我们在 GLUE 上展示实验以证明算法的有效性，并讨论 PET 架构设计选择如何影响实际性能。
引用
@article{arxiv.2305.16597,
title = {Neural Architecture Search for Parameter-Efficient Fine-tuning of Large Pre-trained Language Models},
author = {Neal Lawton and Anoop Kumar and Govind Thattai and Aram Galstyan and Greg Ver Steeg},
journal= {arXiv preprint arXiv:2305.16597},
year = {2023}
}
备注
8 pages, 3 figures, ACL 2023