基于提示的模型真的理解其提示的含义吗？
计算与语言
2022-04-22 v2
摘要
近来，大量论文显示了各类基于提示的模型在零样本和少样本学习上的卓越进展。通常认为，提示以与人类在获得自然语言任务指令时学得更快相同的方式帮助模型更快学习。在本研究中，我们对自然语言推理（NLI）手动编写了超过 30 个提示模板进行实验。我们发现，模型使用许多刻意无关甚至具有误导性路径的提示时，学习速度与使用具指示性的“好”提示一样快。进一步，此类模式即便对参数量达 1750 亿的模型（Brown et al., 2020）以及近期提出的在数百个提示上训练的指令微调模型（Sanh et al., 2022）也成立。即，指令微调模型即使在零样本下也常能以无关和误导性提示给出良好预测。总之，尽管基于提示的模型取得了令人印象深刻的改进，我们发现了严重局限性的证据，质疑此类改进在多大程度上源于模型以类人使用任务指令的方式理解任务指令。
引用
@article{arxiv.2109.01247,
title = {Do Prompt-Based Models Really Understand the Meaning of their Prompts?},
author = {Albert Webson and Ellie Pavlick},
journal= {arXiv preprint arXiv:2109.01247},
year = {2022}
}
备注
NAACL 2022. Unabridged version. Code available at https://github.com/awebson/prompt_semantics