自一致性提升语言模型中的思维链推理
计算与语言
2023-03-08 v4 人工智能
摘要
思维链提示结合预训练大语言模型（LLM）已在复杂推理任务上取得令人鼓舞的结果。在本文中，我们提出一种新的解码策略——自一致性（self-consistency），以替代思维链提示中使用的朴素贪婪解码。它首先对一组多样的推理路径进行采样，而非仅取贪婪的一条，然后通过边缘化采样的推理路径选出最一致的答案。自一致性利用了这样一种直觉：一个复杂推理问题通常允许多种不同的思考方式，都能导向其唯一的正确答案。我们广泛的实证评估表明，在一系列流行的算术与常识推理基准上，自一致性以显著幅度提升了思维链提示的性能，包括 GSM8K（+17.9%）、SVAMP（+11.0%）、AQuA（+12.2%）、StrategyQA（+6.4%）和 ARC-challenge（+3.9%）。
引用
@article{arxiv.2203.11171,
title = {Self-Consistency Improves Chain of Thought Reasoning in Language Models},
author = {Xuezhi Wang and Jason Wei and Dale Schuurmans and Quoc Le and Ed Chi and Sharan Narang and Aakanksha Chowdhery and Denny Zhou},
journal= {arXiv preprint arXiv:2203.11171},
year = {2023}
}
备注
Published at ICLR 2023. V2: added PaLM results; V3: added UL2 results; V4: camera ready version at ICLR 2023