更好链路思考： effectiveness 与忠诚度的反思

链路思考（CoT） prompting 在不同推理任务下表现各异。以往工作尝试评估其，但未能深入分析影响CoT的模式。在本文中，我们从effectiveness与忠诚度两个角度研究CoT性能。前者，我们识别了影响CoT effectiveness的关键因素，包括问题难度、信息增益和信息流。后者，我们通过对问题、CoT与答案之间信息交互进行联合分析，阐释了unfaithful CoT问题。结果表明，当LLM预测答案时，它可以从问题中召回CoT中缺失的正确信息，从而导致该问题。最后，我们提出一种新算法，以从问题中召回额外信息来增强CoT生成，并基于信息增益对CoT进行评估。大量实验表明，我们的方法提高了CoT的忠诚度和 effectiveness。