TEMPER：测试情感扰动对定性推理的影响

大型语言模型在情感中性语言下进行定性推理任务的训练与评估。然而，现实查询常常伴随着愤怒、紧迫或热情。在保留所有数值内容的前提下，情感语境是否alone会导致推理性能下降？为此，本文开发了一种受控情感翻译框架，将问题改写为情感变体版，而保持所有数量和关系不变。基于此框架，构建了Temper-5400（5400个经过语义验证的情感-中性配对），覆盖GSM8K、MultiArith和ARC-Challenge，并在18个模型（从1B到前沿规模）上进行评估。首先，情感语境即使保留所有数值内容也会使准确率下降2-10个百分点。其次，中性化情感变体版能恢复大部分性能，表明性能下降与情感语境有关而非内容被破坏，且中性化可作为轻量级推理时缓解措施。非情感改写不致致此下降，暗示情感内容而非表面层变化是根本原因。除情感外，本基准构建程序为受控风格翻译和鲁棒性评估提供了通用框架。