LaRS：面向思维链推理的潜在推理技能
计算与语言
2025-06-23 v4 人工智能
摘要
思维链 (CoT) 提示是一种流行的大型语言模型 (LLM) 上下文学习 (ICL) 方法，尤其在处理复杂推理任务时。传统的 ICL 方法使用包含与输入问题相似问题的示例来构建提示。然而，CoT 提示在其示例中包含了关键的中间推理步骤（推理依据），这要求基于这些推理依据而非问题本身来选择示例。现有方法需要人类专家或预训练的 LLM 来描述技能，即推理依据的高层抽象，以指导选择。但这些方法通常成本高昂且难以扩展。相反，本文引入了一种名为潜在推理技能 (LaRS) 的新方法，该方法采用无监督学习来创建推理依据的潜在空间表示，其中包含一个称为推理技能的潜在变量。同时，LaRS 学习一个推理策略，以确定给定问题所需的推理技能。然后，通过将过往示例与问题之间的推理技能进行对齐来选择 ICL 示例。该方法具有理论基础且计算高效，无需辅助 LLM 推理或手动提示设计。实证结果表明，LaRS 始终优于最先进的基于技能的选择方法，处理示例库的速度快四倍，在选择阶段将 LLM 推理次数减少一半，并对次优示例库表现出更强的鲁棒性。
引用
@article{arxiv.2312.04684,
title = {LaRS: Latent Reasoning Skills for Chain-of-Thought Reasoning},
author = {Zifan Xu and Haozhu Wang and Dmitriy Bespalov and Xian Wu and Peter Stone and Yanjun Qi},
journal= {arXiv preprint arXiv:2312.04684},
year = {2025}
}