基于元学习与代表性 verbalizer 的有效结构化提示
计算与语言
2024-03-22 v2 人工智能
机器学习
摘要
预训练掩码语言模型（MLM）的提示微调（prompt tuning）在少标注样本的自然语言处理任务中展现出有前景的性能。它针对下游任务微调提示，并使用 verbalizer（ verbalizer）桥接预测词元与标签预测。由于训练数据有限，提示初始化对提示微调至关重要。近期，MetaPrompting（Hou et al., 2022）使用元学习为所有任务特定提示学习共享初始化。然而，当任务复杂时，单一初始化不足以对所有任务和样本获得良好提示。此外，MetaPrompting 需要微调整个 MLM，因 MLM 通常较大，造成计算与内存的沉重负担。为解决这些问题，我们使用提示池提取更多任务知识，并通过注意力构建实例依赖的提示。我们进一步提出一种新颖的软 verbalizer（RepVerb），其直接从特征嵌入构造标签嵌入。结合对提示池与 RepVerb 的元学习，我们提出 MetaPrompter 以实现有效的结构化提示。MetaPrompter 参数高效，因仅需微调提示池。实验结果表明，MetaPrompter 优于近期最先进方法，且 RepVerb 优于现有软 verbalizer。
引用
@article{arxiv.2306.00618,
title = {Effective Structured Prompting by Meta-Learning and Representative Verbalizer},
author = {Weisen Jiang and Yu Zhang and James T. Kwok},
journal= {arXiv preprint arXiv:2306.00618},
year = {2024}
}
备注
Accepted at ICML 2023