情感不仅是标签：大语言模型处理中的潜在情感因素

大型语言模型通常部署在情感基调广泛变化的文本上，但其推理行为通常不考虑情感作为表示变异的来源。以往工作主要将情感作为预测目标，例如在情感分析或情感分类中。相反，我们将情感作为潜在因素来研究它如何影响模型对文本的注意力和推理方式。我们分析了情感基调如何系统性地改变变换器模型中的注意力几何，展示了诸如局部性、中心质量距离和熵等指标在不同情感之间发生变化，并与下游问答性能相关。为便于受控研究这些效应，我们引入了 Affect-Uniform ReAding QA（AURA-QA），这是一个在情感上均衡、由人类撰写的上下文段落中进行问答的数据集。最后，提出了一种情感正则化框架，用于约束训练期间情感条件下的表示漂移。实验在多个问答基准测试上表明，该方法在情感变化和非情感变化数据集上均提升了阅读理解能力，在分布迁移下保持一致 gains，并在多个基准测试上实现了原位改进。