技术报告——基于预训练语言模型的提示微调竞赛方案
计算与语言
2022-12-21 v3
摘要
提示微调（prompt tuning）近来成为大型预训练语言模型在特定下游任务中应用的热点。针对语言模型即服务（LMaaS），使用无导数优化（DFO）的黑盒微调提供了一种扩展预训练模型实际场景并丰富少样本学习研究的新途径。在本报告中，我们展示了在该竞赛中基于 LMaaS 场景提出的方案。我们的方案对 BBTv2 做了若干改进，包括多标签词、P0 的选择、滚动更新策略、来自 MLP 分类器的多任务损失，并最终使用集成方法进一步提升泛化能力。我们也分享了一些尝试过但未用于最终提交的策略以供进一步讨论。最后，我们提出了关于 SNLI 数据集及其对结果影响的问题，以及我们对竞赛的担忧。
引用
@article{arxiv.2212.06369,
title = {Technical Report -- Competition Solution for Prompt Tuning using Pretrained Language Model},
author = {Jiang-Long Song and Wu-He Zou and Feng Li and Xiao-Lei Qin and Wei-Dong Zhang},
journal= {arXiv preprint arXiv:2212.06369},
year = {2022}
}