中文

你再也不需要提示工程了:提示逆转

计算与语言 2025-10-28 v1 人工智能 机器学习

摘要

提示工程,特别是链式思维(Chain-of-Thought, CoT)提示,显著增强了LLM的推理能力。我们引入一种受约束、基于规则的提示方法,称为“雕刻”(Sculpting),旨在改进标准CoT,减少由语义模糊和不良常识导致的错误。我们在三个OpenAI模型代际(gpt-4o-mini、gpt-4o、gpt-5)上评估了三种提示策略(零-shot、标准CoT和雕刻),使用GSM8K数学推理基准测试(1,317个问题)。我们的发现揭示了一种“提示逆转”:在gpt-4o上,雕刻提供了优势(97% vs. 93%的标准CoT),但在gpt-5上则适得其反(94.00% vs. 96.36%的CoT在完整基准测试上)。我们将这一现象归因于一种“从护栏到手铐”的转变,其中防止常见错误的约束在中等水平模型中产生益处,但在先进模型中则导致过于字面化。我们的详细错误分析表明,最佳提示策略必须随模型能力的演进而演变,建议为更强大的模型使用更简单的提示。

关键词

引用

@article{arxiv.2510.22251,
  title  = {You Don't Need Prompt Engineering Anymore: The Prompting Inversion},
  author = {Imran Khan},
  journal= {arXiv preprint arXiv:2510.22251},
  year   = {2025}
}

备注

17 pages, 1 figure, 6 tables. Code and experimental data available at https://github.com/strongSoda/prompt-sculpting