简洁思考：输出长度对大语言模型推理与成本的影响

当今的大型语言模型 (LLM) 能够解决具有挑战性的问答任务，链式思维 (CoT) 等提示工程技术因其增强输出解释性和正确性而受到关注。然而，许多模型和技术倾向于产生过于冗长和冗长的答案，导致简洁性和生成时间方面的问题。为此，本文通过引入和提出新的度量标准来分析输出长度对 LLM 推理管道的影响，以评估模型和相关提示技术的“正确简洁性”。随后，我们检查了通过精细化的提示工程策略控制输出长度的影响，即受限链式思维 (Constrained-CoT, CCoT)，该策略鼓励模型产生更简洁的输出。为更好地理解此类提示的效果，我们还引入了两个额外的评分指标，用于以冗余性和生成答案中的信息流等方式衡量简洁性。实验在预训练 LLM 和多个数据集上进行，表明所提出的度量标准和 CCoT 在不同模型中都具有好处。