合理化或仅显得合理？LLM质量的错误可验证性维度

随着LLM在高风险场景中的部署，用户必须判断 individual responses 的正确性，常常依赖于模型生成的justification（如推理链或解释）。然而，目前尚无标准度量能衡量这些justification是否帮助用户区分正确答案与错误答案。我们将此概念形式化为 error verifiability，提出 $v_{\text{bal}}$ 衡量标准，评估是否enable raters准确判断答案正确性，validated against表明人类评审者之间一致性很高。我们发现，常见方法（如后训练和模型扩缩放）或更有针对性的干预措施均未能提升可验证性。我们引入两种方法成功提升了可验证性：反思重述（reflect-and-rephrase, RR）用于数学推理，和oracle重述（oracle-rephrase, OR）用于事实性问答，两者均通过纳入领域适当的外部信息来提升可验证性。我们的研究结果确立了error verifiability作为一种独立于准确率提升之外的response quality维度，要求专门、领域感知的方法才能解决。