基于提示的少样本学习在自然语言理解中的对抗鲁棒性
计算与语言
2023-06-22 v2 机器学习
摘要
最先进的少样本学习（FSL）方法利用基于提示的微调，在自然语言理解（NLU）任务上取得了显著成果。尽管先前的许多 FSL 方法侧重于提升下游任务性能，但人们对这类方法的对抗鲁棒性了解有限。在本工作中，我们对若干最先进的 FSL 方法进行了广泛研究，以评估其对对抗扰动的鲁棒性。为了更好地理解各种因素对鲁棒性（或其缺失）的影响，我们针对未标注数据的使用、多个提示、少样本示例数量、模型规模与类型等方面，将基于提示的 FSL 方法与全微调模型进行了对比评估。我们在六个 GLUE 任务上的结果表明，与全微调模型相比，原始 FSL 方法在面临对抗扰动时会导致任务性能出现显著的相对下降（即鲁棒性较弱）。然而，使用（i）未标注数据进行基于提示的 FSL 以及（ii）多个提示会扭转这一趋势。我们进一步证明，增加少样本示例数量和模型规模可提升原始 FSL 方法的对抗鲁棒性。总体而言，我们的工作揭示了面向 NLU 任务的基于提示的 FSL 方法的对抗鲁棒性评估。
引用
@article{arxiv.2306.11066,
title = {Adversarial Robustness of Prompt-based Few-Shot Learning for Natural Language Understanding},
author = {Venkata Prabhakara Sarath Nookala and Gaurav Verma and Subhabrata Mukherjee and Srijan Kumar},
journal= {arXiv preprint arXiv:2306.11066},
year = {2023}
}
备注
Accepted full paper at Findings of ACL 2023; Code available at https://github.com/claws-lab/few-shot-adversarial-robustness