基于提示的真实少样本学习——真实世界视角
计算与语言
2021-11-29 v1
摘要
基于提示的方法在少样本学习中表现出色。然而，Perez 等人 (2021) 最近对其性能提出了质疑，因为他们在“真实”少样本设置（即无法在开发集上调整提示和超参数的设置）中难以获得良好结果。鉴于此，我们对 PET 这一将文本指令与基于示例的微调相结合的方法进行了广泛研究。我们表明，如果配置正确，PET 在真实少样本设置（即无开发集）下表现优异。这种优异性能的关键在于 PET 智能处理多个提示的能力。随后，我们将研究结果应用于真实世界测试，在 RAFT 上运行 PET。RAFT 是一个任务基准，取自真实的 NLP 应用，且没有可用的标注开发集或测试集。PET 在 RAFT 上实现了新的 SOTA，并且在 11 项任务中的 7 项上表现接近非专家人类。这些结果表明，像 PET 这样的基于提示的学习器擅长真实少样本学习，并支撑了我们的信念，即从指令中学习将在通往类人少样本学习能力的道路上发挥重要作用。
引用
@article{arxiv.2111.13440,
title = {True Few-Shot Learning with Prompts -- A Real-World Perspective},
author = {Timo Schick and Hinrich Schütze},
journal= {arXiv preprint arXiv:2111.13440},
year = {2021}
}