通过提示大语言模型生成类比：以 InstructGPT 为例的研究
计算与语言
2022-10-12 v2 人工智能
摘要
我们提出一种提示预训练语言模型（PLM）以生成类比的新应用，并研究如何为两种任务设定设计有效提示：生成与给定目标概念类比的源概念（即类比概念生成或 ACG），以及生成给定目标概念与源概念对之间相似性的解释（即类比解释生成或 AEG）。我们发现提示 InstructGPT 生成有意义的类比是可行的，且最佳提示往往是精确的祈使句，尤其在低温度设定下。我们还系统分析了 InstructGPT 模型对提示设计、温度和注入拼写错误的敏感性，发现该模型对某些变化（例如疑问句 vs. 祈使句）特别敏感。此外，我们对 1.4k 个生成类比进行了人工评估，发现生成质量随模型规模差异显著。最大的 InstructGPT 模型在为给定目标生成有意义类比方面可达到人类水平表现，而 AEG 任务仍有改进空间。
引用
@article{arxiv.2210.04186,
title = {Analogy Generation by Prompting Large Language Models: A Case Study of InstructGPT},
author = {Bhavya Bhavya and Jinjun Xiong and Chengxiang Zhai},
journal= {arXiv preprint arXiv:2210.04186},
year = {2022}
}
备注
Accepted to 15th International Conference on Natural Language Generation (INLG 2022)