预置 P-Tuning
机器学习
2023-05-19 v1 计算与语言
摘要
本文提出预置（Ahead-of-Time, AoT）P-Tuning，一种面向预训练语言模型（LMs）的新型参数高效微调方法，其在每个 Transformer 层之前添加输入依赖偏置。我们使用 RoBERTa 与 DeBERTa 模型在 GLUE 与 SuperGLUE 基准数据集上评估 AoT P-Tuning，结果表明其优于 BitFit，且与其它高效微调基线方法相当或更优。此外，我们评估了 AoT P-Tuning 的推理开销，并证明相较于既有基线方法其引入的开销可忽略不计。我们的方法支持以单一骨干 LM 实现多任务推理，使其成为现实应用的实用方案。
引用
@article{arxiv.2305.10835,
title = {Ahead-of-Time P-Tuning},
author = {Daniil Gavrilov and Nikita Balagansky},
journal= {arXiv preprint arXiv:2305.10835},
year = {2023}
}