PromptPrism：面向提示语的语言学启发分类法
计算与语言
2026-01-27 v2
摘要
提示语是从事大型语言模型（LLM）能力接口。理解其结构和组成对于分析 LLM 行为和优化性能至关重要。然而，领域内缺乏系统性提示分析和理解的综合框架。我们引入 PromptPrism，一种语言学启发的分类法，使其能够跨越三个层次结构：功能结构、语义组件和句法模式。通过将语言概念应用于提示分析，PromptPrism 将传统语言理解与现代 LLM 研究相结合，提供纯经验方法可能遗漏的洞见。我们通过三个实际应用展示了 PromptPrism 的实用性：（1）一种受分类法指导的提示优化方法，自动提升提示质量，跨越多个任务增强模型性能；（2）一种多维数据集剖析方法，从提示数据集中提取和聚合结构、语义和句法特征，实现对提示分布和模式的全面分析；（3）一种受控的实验框架，用于提示灵敏度分析，通过量化语义重排和分隔符修改对 LLM 性能的影响。我们的实验结果验证了该分类法在这些应用中的有效性，证明 PromptPrism 为精炼、剖析和分析提示提供了基础。
引用
@article{arxiv.2505.12592,
title = {PromptPrism: A Linguistically-Inspired Taxonomy for Prompts},
author = {Sullam Jeoung and Yueyan Chen and Yi Zhang and Shuai Wang and Haibo Ding and Lin Lee Cheong},
journal= {arXiv preprint arXiv:2505.12592},
year = {2026}
}