Paraphrase Types Elicit Prompt Engineering Capabilities
机器学习
2024-07-01 v1 机器学习
摘要
现代语言模型的许多成功都依赖于找到合适的提示来指示模型。迄今为止，提示在语言表达变异性如何影响这些模型的事实鲜为人知。本研究系统而经验地评估了哪些语言特征通过 paraphrase types（即在特定位置的语言变化）影响模型。我们在 120 个任务和六类 paraphrase（即形态学、语法、词汇、词法-语法、篇章和其他）中测量五个模型的行为变化。我们还控制了其他提示工程因素（例如提示长度、词汇多样性和接近训练数据的程度）。我们的结果表明，语言模型在其提示在特定 paraphrase types 中进行适应时，能够提升任务性能（例如在 Mixtral 8x7B 中中位数提升 6.7%；在 LLaMA 3 8B 中提升 5.5%）。特别是，形态学和词汇层面的变化，即所使用的词汇，显示出在改进提示方面的潜力。这一发现促进了开发能够处理语言表达变异性更健壮的语言模型。
引用
@article{arxiv.2406.19897,
title = {FI-CBL: A Probabilistic Method for Concept-Based Learning with Expert Rules},
author = {Lev V. Utkin and Andrei V. Konstantinov and Stanislav R. Kirpichenko},
journal= {arXiv preprint arXiv:2406.19897},
year = {2024}
}