大语言模型是对比推理者
计算与语言
2026-03-06 v3 人工智能
摘要
提示方法在增强预训练大语言模型（LLM）的能力方面起着至关重要的作用。我们探索了对比提示（CP）如何显著提升大语言模型执行复杂推理的能力。我们证明，只需在LLM提供答案之前添加“让我们给出一个正确答案和一个错误答案。”，LLM就能成为相当好的对比推理者。在多种大语言模型上的实验表明，零样本对比提示在一系列算术、常识和符号推理任务上，无需任何手工设计的少样本示例，就能提升标准零样本提示的性能，例如使用最先进的GPT-4模型，在GSM8K上的准确率从35.9%提高到88.8%，在AQUA-RAT上从41.3%提高到62.2%。我们的方法不仅在大多数算术和常识推理任务中超越了零样本思维链和少样本思维链，还能与现有提示方法无缝集成，与最先进方法相比，取得了改进或可比的结果。我们的代码可在https://github.com/yao8839836/cp获取。
引用
@article{arxiv.2403.08211,
title = {Large Language Models are Contrastive Reasoners},
author = {Liang Yao},
journal= {arXiv preprint arXiv:2403.08211},
year = {2026}
}