理解与管理LLM提示中的不完整指定
计算与语言
2026-04-28 v3 软件工程
摘要
提示不完整指定是与LLM交互时常见的挑战。本文对此问题进行深入分析，表明尽管LLM通常能够通过默认方式推断未指定的要求(41.1%)，但这种行为脆弱：不完整指定的提示在模型或提示变化时更容易退化，某些情况下准确率下降超过20%。这种不稳定性使构建可靠的LLM应用程序变得困难。此外，仅指定所有要求并不总是能有效提升性能，由于模型的指令遵循能力有限且要求可能相互冲突。标准的提示优化器同样几乎没有帮助。为解决这些问题，我们提出了需求感知的提示优化机制，通过4.8%的平均性能提升超越基线。我们进一步主张一种系统化的主动需求发现、评估和监控过程，以更好地管理提示不完整指定。
引用
@article{arxiv.2505.13360,
title = {What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts},
author = {Chenyang Yang and Yike Shi and Qianou Ma and Michael Xieyang Liu and Christian Kästner and Tongshuang Wu},
journal= {arXiv preprint arXiv:2505.13360},
year = {2026}
}