面向参数高效微调的稀疏结构搜索
计算与语言
2022-06-16 v1
摘要
通过微调来适配大型预训练模型（PTM）会带来难以承受的计算与存储负担。近期关于参数高效微调（PET）的研究发现，仅优化基于 PTM 的条件化的一小部分参数，即可获得与传统微调相当的性能。一般而言，PET 方法精心设计了参数高效模块（PET 模块），可应用于 PTM 内部任意细粒度位置。然而，这些细粒度位置的有效性高度依赖繁琐的人工指定，因此通常产生次优结果。与人工指定不同，我们探索以自动方式构建 PET 模块。我们自动\textbf{搜}\textbf{索}\textbf{稀}\textbf{疏}\textbf{结}\textbf{构}\textbf{的}\textbf{参}\textbf{数}\textbf{高}\textbf{效}\textbf{微}\textbf{调}（SPET）。基于多种 PET 方法的统一框架，SPET 通过双层优化进行可微分的 PET 结构搜索，并提出偏移全局 sigmoid 方法以显式控制可训练参数数量。大量实验表明，SPET 以更少的可训练参数超越了人工与随机结构。所搜索的结构以 0.01% 的可训练参数保留了超过 99% 的微调性能。此外，在极低可训练参数预算（0.0009%0.01%）下，SPET 的优势被进一步放大。所搜索的结构具有可迁移性与可解释性，为未来 PET 方法的设计提供建议与指导。
引用
@article{arxiv.2206.07382,
title = {Sparse Structure Search for Parameter-Efficient Tuning},
author = {Shengding Hu and Zhen Zhang and Ning Ding and Yadao Wang and Yasheng Wang and Zhiyuan Liu and Maosong Sun},
journal= {arXiv preprint arXiv:2206.07382},
year = {2022}
}