用于自然语言理解的向量量化输入上下文软提示
计算与语言
2022-10-25 v2
摘要
提示微调作为条件化大规模预训练语言模型以执行下游任务的参数高效方法已取得很大成功。迄今为止，软提示微调学习一组固定的任务特定连续向量，即在该任务样本间保持静态的软 token。然而，固定提示可能无法很好地泛化到任务所包含的多样输入。为解决此问题，我们提出向量量化输入上下文提示（VIP）作为软提示微调框架的扩展。VIP 特别关注两个方面——上下文提示，通过小规模句子编码器学习软提示 token 的输入特定上下文化；以及量化提示，通过向量量化网络将上下文化提示映射到一组可学习的码本向量。在 SuperGLUE、问答、关系分类、NER 和 NLI 等多种语言理解任务上，VIP 以平均 1.19% 的优势超越软提示微调（PT）基线。此外，我们的泛化研究表明，VIP 学习到更鲁棒的提示表示，在域外问答和 NLI 任务上分别以 0.6%–5.3% 的优势超越 PT，并在跨 12 个域的 4 任务多任务设置上超越 PT 0.75%。
引用
@article{arxiv.2205.11024,
title = {Vector-Quantized Input-Contextualized Soft Prompts for Natural Language Understanding},
author = {Rishabh Bhardwaj and Amrita Saha and Steven C. H. Hoi and Soujanya Poria},
journal= {arXiv preprint arXiv:2205.11024},
year = {2022}
}
备注
EMNLP 2022