衡量源于刻板印象的机器学习危害需要理解谁以何种方式被何种错误所伤害

随着机器学习应用的激增，我们需要了解其潜在的危害。然而，当前的公平性指标很少基于人类对危害的心理体验。借鉴刻板印象的社会心理学，我们以图像搜索中的性别刻板印象为案例研究，考察人们对机器学习错误的反应。首先，我们通过调查研究表明，并非所有的机器学习错误都反映刻板印象，也并非具有同等的危害性。然后，在实验研究中，我们随机让参与者暴露于强化刻板印象、违反刻板印象和中性刻板印象的机器学习错误中。我们发现，强化刻板印象的错误会诱发更多体验性（即主观上）的危害感受，而对认知信念、态度或行为的影响微乎其微。这种体验性危害对女性的影响大于男性。然而，某些违反刻板印象的错误对男性在体验上更具危害性，这可能是由于感知到对男性气质的威胁。我们得出结论，危害不应成为公平性缓解的唯一指导，并提出应根据谁在经历什么危害以及为什么经历危害来采取细致入微的视角。