大语言模型可能并不在乎你在说什么：提示格式优于描述
计算与语言
2025-09-09 v7
摘要
借助上下文学习（ICL），大语言模型（LLM）在各种任务上取得了令人瞩目的表现。然而，上下文学习期间描述性指令的作用仍未被充分探索。在这项工作中，我们提出了一种集成提示框架来描述多个上下文示例的选择标准，并在六个翻译方向的机器翻译（MT）上的初步实验证实该框架提升了 ICL 性能。但令我们惊讶的是，LLM 可能并不在乎描述实际上说了什么，性能提升主要源于集成格式，因为即使使用随机的描述性名词也能带来改进。我们进一步将这种新的集成框架应用于一系列常识、数学、逻辑推理和幻觉任务，涉及三个 LLM 并取得了有前景的结果，这再次表明设计合适的提示格式比投入精力编写特定描述要有效得多且高效得多。
引用
@article{arxiv.2408.08780,
title = {Large Language Models Might Not Care What You Are Saying: Prompt Format Beats Descriptions},
author = {Chenming Tang and Zhixiang Wang and Hao Sun and Yunfang Wu},
journal= {arXiv preprint arXiv:2408.08780},
year = {2025}
}
备注
EMNLP 2025 Findings. 23 pages, 23 figures, 7 tables