标签也需要提示：自然语言理解任务的掩码匹配
计算与语言
2023-12-19 v2 人工智能
摘要
在许多自然语言理解（NLU）任务中，文本标签名称（描述）通常具有丰富的语义。在本文中，我们首次将广泛用于丰富模型输入的提示方法引入到标签端。具体而言，我们提出了一种掩码匹配方法，该方法为一个输入配备一个提示，并为其标签配备另一个提示，然后通过匹配它们的掩码表示来进行预测。我们在 8 个 NLU 任务和 14 个数据集上对我们的方法进行了广泛评估。实验结果表明，掩码匹配显著优于微调和传统提示调优的对应方法，在多个数据集上取得了 SOTA 性能。掩码匹配特别擅长处理具有大量标签和富含信息标签名称的 NLU 任务。作为探索标签端提示的先驱性努力，我们还讨论了供未来研究的开放性问题。
引用
@article{arxiv.2312.08726,
title = {Labels Need Prompts Too: Mask Matching for Natural Language Understanding Tasks},
author = {Bo Li and Wei Ye and Quansen Wang and Wen Zhao and Shikun Zhang},
journal= {arXiv preprint arXiv:2312.08726},
year = {2023}
}
备注
AAAI2024, Regular Paper