Sketch-of-Thought: 面向高效大语言模型推理的自适应认知启发式草图
计算与语言
2025-10-27 v4 人工智能
机器学习
摘要
近期大语言模型（LLM）的进展通过思维链（Chain-of-Thought, CoT）提示实现了强大的推理能力，该方法能激发逐步求解问题，但中间输出往往过于冗长，导致计算开销增加。我们提出 Sketch-of-Thought（SoT），一种将认知启发的推理范式与语言约束相结合的提示框架，在保持推理精度的同时减少令牌（token）使用。SoT 被设计为一种灵活、模块化的方法，并通过三种范式实例化——概念链（Conceptual Chaining）、分块符号化（Chunked Symbolism）和专家词典（Expert Lexicons）——每种范式针对不同的推理任务，并在测试时通过一个轻量级路由模型动态选择。在涵盖多个领域、语言和模态的 18 个推理数据集上，SoT 实现了高达 84% 的令牌缩减，同时精度损失极小。在数学和多跳推理等任务中，它在缩短输出的同时甚至提升了精度。
引用
@article{arxiv.2503.05179,
title = {Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching},
author = {Simon A. Aytes and Jinheon Baek and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2503.05179},
year = {2025}
}
备注
EMNLP 2025