PReSS：一种用于评估 LLM 政治立场稳定性的黑盒框架通过论证压力

现有的大型语言模型（LLM）政治偏见评估通常将输出分类为左-或右倾。我们扩展了这一视角，通过考察意识形态倾向如何随主题而变以及模型在维持其立场方面的稳定性——我们称之为稳定性。为捕捉这一维度，我们提出了 PReSS（Political Response Stability under Stress），一种黑盒框架，通过同时考虑模型和主题背景，将响应归类为四种立场类型：stable-left、unstable-left、stable-right、unstable-right。将 PReSS 应用于 12 个广泛使用的 LLM 和 19 个政治主题，结果显示立场稳定性存在显著差异；例如，一个总体上倾向左侧的模型在某些主题上可能表现出稳定的右倾行为。这凸显了对 LLM 政治意识形态进行主题感知和细粒度评估的重要性。此外，稳定性在受控生成和模型对齐方面具有实际意义：诸如去偏和意识形态反转之类的干预应显式地考虑立场稳定性。我们的实证分析表明，当模型被提示或微调以采取相反的意识形态时，不稳定的主题立场更容易改变，而稳定的立场则抵抗修改。将稳定性作为调节因素，为理解、评估和引导政治敏感模型行为提供了原则性的基础。