学习如何提问：以软提示混合查询语言模型

自然语言提示近来被用于引导预训练语言模型以填空白范式（Petroni 等，2019）或少样本外推范式（Brown 等，2020）执行其他 AI 任务。例如，语言模型从其训练语料中保留了可通过让其在句子提示中“填空白”而提取的事实知识。然而，这些提示从何而来？我们探索通过梯度下降学习提示的思路——既可以对先前工作中的提示进行微调，也可以从随机初始化开始。我们的提示由“软词”组成，即未必是语言模型词类型嵌入的连续向量。此外，对于每个任务，我们优化提示的混合，学习哪些提示最有效以及如何集成它们。在多个英文语言模型和任务上，我们的方法大幅优于先前方法，表明语言模型中隐含的事实知识此前被低估了。而且，这种知识易于引发：随机初始化几乎与有信息初始化一样好。