盲人与大象：基准数据集中性别刻板印象的多样视角

准确衡量语言模型中的性别刻板印象是一个复杂且多面向的任务，当前基准测试往往低估了这一多维挑战，未能捕捉问题的全部面貌。本文检验了内在刻板基准测试之间的不一致性。我们提出，当前可用的基准测试仅捕捉性别刻板印象的局部方面，孤立考虑时仅提供关于语言模型中偏见更广阔图景的片段视图。以StereoSet和CrowS-Pairs为案例研究，我们调查了数据分布如何影响基准结果。通过应用社会心理学中的框架平衡这些基准测试在性别刻板印象各组成部分的数据，我们展示了即使是简单的平衡技术也能显著提高不同测量方法之间的相关性。我们的发现凸显了语言模型中性别刻板印象的复杂性，并指向开发更精细技术以检测和减少偏见的新方向。