提示工程：提示词词汇如何影响领域知识
计算与语言
2025-05-26 v1
摘要
提示工程已成为优化大型语言模型 (LLM) 以完成特定领域任务的关键组件。然而，关于提示词特异性（尤其是在 STEM（物理、化学、生物学、计算机科学和数学）、医学和法律等领域）的作用仍缺乏探讨。本篇论文聚焦于增加提示词中词汇的特异性是否能提升 LLM 在特定领域问答和推理任务中的性能。我们开发了 synonymization 框架，通过系统性替换名词、动词和形容词的特异性水平来衡量其影响，测试对象包括 Llama-3.1-70B-Instruct、Granite-13B-Instruct-V2、Flan-T5-XL 和 Mistral-Large 2 四个 LLM，涵盖 STEM、法律和医学等数据集。我们的结果表明，虽然增加提示词的特异性通常不会对 LLM 性能产生显著影响，但在所有考虑的模型中，似乎存在一个特异性范围，LLM 在该范围内表现最佳。识别出这一最佳特异性范围为提示设计提供了关键见解，表明在该范围内操控提示词可最大化 LLM 性能，进而在专业领域中实现更高效的应用。
引用
@article{arxiv.2505.17037,
title = {Prompt Engineering: How Prompt Vocabulary affects Domain Knowledge},
author = {Dimitri Schreiter},
journal= {arXiv preprint arXiv:2505.17037},
year = {2025}
}