ChainLM：以改进的思维链提示增强大型语言模型

思维链（CoT）提示能够增强大型语言模型（LLMs）的推理能力，已成为解决复杂推理任务的主要方法。现有的 CoT 合成方法通常侧重于较简单的推理任务，导致生成的 CoT 提示质量低下且不一致。为应对这一挑战，我们对 CoT 提示进行了实证研究，并引入了 CoTGenius——一个旨在自动生成优质 CoT 提示的新型框架。CoTGenius 基于三大进化策略（即复杂化、多样化和具体化）以及两种过滤机制（进化成功判定和正确性验证）而开发。我们进一步利用 CoTGenius 创建了一个大规模的 CoT 数据集，并在此数据集上对 Llama 2-Chat 7B 和 13B 模型进行微调。我们将所得模型称为 ChainLM。为解决推理步骤中的累积误差问题，我们提出了一种步骤级辩论方法，其中多个辩论者对每个推理步骤进行讨论以得出正确答案。大量实验表明，与现有模型相比，我们的 ChainLM 模型在解决一系列复杂推理问题时表现出更强的能力。此外，我们还深入分析了 CoTGenius 中数据类别对模型性能的影响。我们在 https://github.com/RUCAIBox/ChainLM 发布了我们的数据集和代码。