有问必答：一种用于提示语言模型的简单策略
计算与语言
2022-11-22 v3
摘要
大型语言模型（LLMs）无需额外训练，仅给定一个展示任务执行方式的自然语言提示，即可开箱良好地迁移到新任务。提示是一个脆弱的过程，其中对提示的微小修改可能导致模型预测的剧烈变化，因此大量精力被用于为任务精心设计近乎“完美”的提示。为缓解提示设计所涉及的高强度工作，我们转而探究：生成多个有效但不完美的提示并聚合它们，能否形成一种高质量的提示策略。我们的观察启发了所提出的提示方法 ASK ME ANYTHING（AMA，有问必答）。我们首先理解有效提示格式，发现问答（QA）提示——鼓励开放式生成（“谁去了公园？”）——往往优于限制模型输出的提示（“John 去了公园。输出真或假。”）。我们的方法递归地使用 LLM 自身将任务输入转换为有效的 QA 格式。我们应用收集到的提示为输入的真实标签获取若干带噪声的投票。我们发现这些提示可能具有非常不同的准确率与复杂依赖关系，因此提出使用弱监督（一种组合噪声预测的程序）来生成输入的最终预测。我们在开源模型族（如 EleutherAI、BLOOM、OPT 和 T0）与模型规模（125M–175B 参数）上评估 AMA，展示了相较少样本基线平均 10.2% 的性能提升。这一简单策略使开源的 GPT-J-6B 模型在 20 个流行基准中的 15 个上匹配并超越少样本 GPT3-175B 的性能。在这些任务上平均而言，GPT-J-6B 模型优于少样本 GPT3-175B。我们在此发布代码：https://github.com/HazyResearch/ama_prompting
引用
@article{arxiv.2210.02441,
title = {Ask Me Anything: A simple strategy for prompting language models},
author = {Simran Arora and Avanika Narayan and Mayee F. Chen and Laurel Orr and Neel Guha and Kush Bhatia and Ines Chami and Frederic Sala and Christopher Ré},
journal= {arXiv preprint arXiv:2210.02441},
year = {2022}
}