WARP：词级对抗重编程
计算与语言
2021-06-03 v2
摘要
从预训练语言模型进行迁移学习最近成为解决许多 NLP 任务的主流方法。一种最大化参数共享的多任务迁移学习常用方法是在语言模型之上训练一个或多个任务特定层。在本文中，我们提出了一种基于对抗重编程的替代方法，其扩展了早期关于自动提示生成的工作。对抗重编程试图学习任务特定的词嵌入，当其与输入文本拼接时，指示语言模型解决指定任务。每个任务使用多达 25K 的可训练参数，该方法在 GLUE 基准的公共排行榜上优于所有具有多达 25M 可训练参数的现有方法。我们的方法以任务特定的人类可读提示初始化，也适用于少样本设定，仅用 32 个训练样本就在两个 SuperGLUE 任务上优于 GPT-3。
引用
@article{arxiv.2101.00121,
title = {WARP: Word-level Adversarial ReProgramming},
author = {Karen Hambardzumyan and Hrant Khachatrian and Jonathan May},
journal= {arXiv preprint arXiv:2101.00121},
year = {2021}
}
备注
Accepted ACL 2021 Long Paper