大语言模型中的提示词之外：理解、情境学习与链式思维
计算与语言
2026-03-13 v2 机器学习
摘要
大语言模型（LLMs）在 diverse 任务上展现出惊人的熟练性，呈现出语义提示理解、情境学习（In-Context Learning, ICL）和链式思维（Chain-of-Thought, CoT）推理等新兴属性。尽管已证实其经验性成功，但驱动这些现象的理论机制仍鲜为人知。本研究通过回答三个关键问题，深入探讨这些观察的基础：（1）尽管仅以下一个标记预测为训练目标，LLMs 如何准确解码提示语义？（2）ICL 通过何种机制在无显式参数更新的情况下实现性能提升？（3）为何 CoT 提示中的中间推理步骤能有效解锁复杂多步骤问题的能力？我们的结果表明，通过自回归过程，LLMs 能够准确推断不同任务之间标记转换概率。我们展示了 ICL 通过减少提示模糊性并促进对意图任务的后验集中来提升性能。此外，我们发现 CoT 提示会激活模型进行任务分解的能力，将复杂问题分解为一系列模型在预训练阶段已掌握的简单子任务。通过比较各自的误差界，我们提供了关于高级提示工程技术统计优势的新型理论见解。
引用
@article{arxiv.2603.10000,
title = {Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought},
author = {Yuling Jiao and Yanming Lai and Huazhen Lin and Wensen Ma and Houduo Qi and Defeng Sun},
journal= {arXiv preprint arXiv:2603.10000},
year = {2026}
}