HyperPrompt：基于提示的 Transformer 任务条件化
计算与语言
2022-06-16 v2 机器学习
摘要
提示微调（Prompt-Tuning）是一种以参数高效方式微调预训练语言模型的新范式。本文探索使用超网络（HyperNetwork）生成超提示（hyper-prompt）：我们提出 HyperPrompt，一种用于 Transformer 中自注意力基于提示的任务条件化的新型架构。超提示通过超网络生成实现端到端可学习。HyperPrompt 允许网络学习任务特定的特征映射，其中超提示作为查询可关注的任务全局记忆，同时支持任务间灵活的信息共享。我们证明，HyperPrompt 仅需额外 的任务条件化参数，即可与强大的多任务学习基线相媲美，实现了出色的参数和计算效率。通过大量实证实验，我们展示 HyperPrompt 在多种模型规模下，在 GLUE 和 SuperGLUE 自然语言理解基准上，均能取得优于强大的 T5 多任务学习基线以及包括 Prompt-Tuning 和 HyperFormer++ 在内的参数高效适配器变体的性能。
引用
@article{arxiv.2203.00759,
title = {HyperPrompt: Prompt-based Task-Conditioning of Transformers},
author = {Yun He and Huaixiu Steven Zheng and Yi Tay and Jai Gupta and Yu Du and Vamsi Aribandi and Zhe Zhao and YaGuang Li and Zhao Chen and Donald Metzler and Heng-Tze Cheng and Ed H. Chi},
journal= {arXiv preprint arXiv:2203.00759},
year = {2022}
}
备注
Accepted to ICML 2022