再多问一次！自洽性提升语言模型在（几乎）所有场景下的推理能力

尽管思维链（CoT）提示结合语言模型在复杂推理任务上已取得令人鼓舞的结果，但 CoT 提示中使用的朴素贪婪解码通常导致重复性和局部最优。为弥补这一缺陷，集成优化尝试获取多条推理路径以组装出最终答案。然而，现有集成优化方法要么简单地采用基于规则的后处理如 self-consistency，要么基于若干任务相关人工标注训练额外模型以从多条推理路径中选出最优者，却无法泛化到输入问题类型未知或推理路径答案格式未知的真实场景。为避免其局限，我们提出 Self-Agreement，一种可泛化的集成优化方法，适用于输入问题类型和推理路径答案格式已知或未知的几乎所有场景。自洽性首先从语言模型解码器中采样生成一组多样的推理路径，随后再次提示语言模型，通过从采样推理路径中选出最一致（agreed）的答案来确定最优答案。自洽性在六个公开推理基准上同时取得了显著性能和优越的泛化能力。