并非示例，而是过程：自生成示例如何提升 LLM 推理能力
计算与语言
2026-02-19 v1 人工智能
摘要
最近的研究表明，大型语言模型（LLM）通过自生成少样本示例可提升推理性能，达到与人工精选示例相当的效果。然而，这些收益背后的机制仍不明确，难以决定何时如何有效应用此技术。本文我们认为，关键收益源于生成过程本身，而非生成的示例。为验证这一观点，我们在 diverse LLM 架构上进行推理密集型任务的系统评估，评估三种提示策略进行零样本学习：（1）零样本提示；（2）集成提示，LLM 在单一统一的提示中创建并解决问题；（3）解耦提示，重用自生成的示例作为少样本示例，但排除其创建过程的上下文。我们在五种广泛使用的模型架构上进行实验，结果显示集成提示始终优于零样本和解耦提示。相比之下，解耦提示仅在零样本提示上提供有限的提升。进一步深入分析，我们进行注意力分析，观察到集成提示与解耦提示之间存在显著的注意力模式差异。这些发现表明，自生成提示的优势源于问题创建的过程，而非示例本身，为设计更有效的提示策略提供了宝贵见解。
引用
@article{arxiv.2602.15863,
title = {Not the Example, but the Process: How Self-Generated Examples Enhance LLM Reasoning},
author = {Daehoon Gwak and Minseo Jung and Junwoo Park and Minho Park and ChaeHun Park and Junha Hyung and Jaegul Choo},
journal= {arXiv preprint arXiv:2602.15863},
year = {2026}
}
备注
Presented at AACL-IJCNLP 2025