在带提示约束的开放文本生成中界定大型语言模型的能力
计算与语言
2023-02-21 v1 人工智能
机器学习
摘要
开放式生成模型的极限尚不明确，却日益重要。是什么导致它们成功，又是什么导致它们失败？在本文中，我们采用以提示为中心的方法来分析和界定开放式生成模型的能力。我们提出了一种通用的分析方法论，涉及两种具有挑战性的提示约束类型：结构约束和风格约束。这些约束类型被归类为一组定义明确的约束，可通过单个提示进行分析。然后，我们系统地创建了一组多样化、简单、自然且有用的提示，以稳健地分析每个单独的约束。以GPT-3 text-davinci-002模型为案例研究，我们从收集的提示中生成输出，并分析模型的生成失败。我们还展示了我们提出的方法在其他大型模型（如BLOOM和OPT）上的泛化能力。我们的结果和上下文缓解策略揭示了未来研究的开放挑战。我们已在https://github.com/SALT-NLP/Bound-Cap-LLM公开发布了代码。
引用
@article{arxiv.2302.09185,
title = {Bounding the Capabilities of Large Language Models in Open Text Generation with Prompt Constraints},
author = {Albert Lu and Hongxin Zhang and Yanzhe Zhang and Xuezhi Wang and Diyi Yang},
journal= {arXiv preprint arXiv:2302.09185},
year = {2023}
}
备注
27 pages, 13 figures, 11 tables, to be published in EACL 2023 Findings