提示的语言：哪些语言属性造就成功的提示？
计算与语言
2023-11-06 v1 人工智能
机器学习
摘要
最新一代LLM可通过提示在许多NLP任务中取得令人印象深刻的零样本或少样本性能。然而，由于性能对提示选择高度敏感，大量工作致力于众包提示或设计提示优化方法。但我们仍缺乏对提示的语言属性如何与任务性能相关的系统性理解。本工作中，我们研究不同规模、经预训练及指令微调的LLM在语义等价但语言结构各异的提示上的表现。我们考察语法属性（如语气、时态、体貌与情态）以及通过同义词的词汇-语义变异。我们的发现与一种常见假设相矛盾，即LLM在反映预训练或指令微调数据中语言用法的低困惑度提示上取得最优性能。提示在数据集或模型间迁移性差，且性能一般无法由困惑度、词频、歧义或提示长度解释。基于我们的结果，我们提出一项更鲁棒且全面的提示研究评估标准。
引用
@article{arxiv.2311.01967,
title = {The language of prompting: What linguistic properties make a prompt successful?},
author = {Alina Leidinger and Robert van Rooij and Ekaterina Shutova},
journal= {arXiv preprint arXiv:2311.01967},
year = {2023}
}
备注
Accepted to EMNLP 2023 Findings