C3oT：在不影响效果的前提下生成更短的思维链

在推导答案之前生成思维链（CoT）可以有效提升大语言模型（LLM）的推理能力，并显著提高生成答案的准确性。然而，在大多数情况下，生成的CoT长度远长于所需的最终答案，这导致了额外的解码成本。此外，现有研究发现，缩短CoT中的推理步骤，即使保留了关键信息，也会削弱LLM的能力。这些现象使得LLM和CoT难以应用于许多只需要最终答案且对延迟敏感的实时应用，例如搜索和推荐。为了降低模型解码成本并缩短生成的CoT长度，本文提出了$\textbf{C}$onditioned $\textbf{C}$ompressed $\textbf{C}$hain-of-$\textbf{T}$hought（C3oT），一个CoT压缩框架，包含一个压缩器将原始较长的CoT压缩为较短的CoT，同时保持关键信息和可解释性；一种条件训练方法，同时使用较长CoT和较短CoT训练LLM，以学习它们之间的对应关系；以及一种条件推理方法，通过生成较短CoT来获得从较长CoT中学到的推理能力。我们在算术和常识场景的四个数据集上进行了实验，结果表明所提出的方法能够将生成的CoT长度压缩多达50%以上，同时不影响其效果。