离散提示鲁棒性评估
计算与语言
2023-02-14 v1 人工智能
摘要
离散提示已用于微调预训练语言模型以处理多种自然语言处理任务。特别是，从小规模训练样本自动生成离散提示的方法已展现出优越性能。然而，仔细审视所学到的提示会发现，其中包含在人工编写提示中不会出现的含噪声且反直觉的词汇结构。这引发了一个重要但研究不足的问题：自动学到的离散提示在下游任务中使用时的鲁棒性如何。为解答该问题，我们对离散提示的鲁棒性进行了系统研究，通过将精心设计的扰动应用于基于 AutoPrompt 的应用，并在两个自然语言推理（NLI）数据集中衡量其性能。实验结果表明，尽管基于离散提示的方法对 NLI 输入的扰动保持相对鲁棒，但它们对其他类型的扰动（如提示词元 shuffling 与删除）高度敏感。此外，它们在不同 NLI 数据集间的泛化能力很差。我们希望我们的发现能启发未来关于鲁棒离散提示学习的研究。
引用
@article{arxiv.2302.05619,
title = {Evaluating the Robustness of Discrete Prompts},
author = {Yoichi Ishibashi and Danushka Bollegala and Katsuhito Sudoh and Satoshi Nakamura},
journal= {arXiv preprint arXiv:2302.05619},
year = {2023}
}
备注
Accepted at EACL 2023