人为共识偏差误导AI对脆弱利益相关者的判断

将AI系统用于福利救济分配允许加快决策速度和更快地提供关键援助，但已导致福利拒绝和虚假诈骗指控增加。我们在美国和英国收集数据（N=2449），探讨了在福利申报者和非申报者人群中，对速度-准确性权衡的公众接受度。我们观察到，尽管整体上人们愿意为 modest 的准确性损失来换取速度提升，但这种总体观察掩盖了申报者和非申报者之间的显著差异。尽管福利申报者在总体人口中占比相对较小（例如在美国代表性样本中仅为20%），但这一脆弱群体对部署于福利系统中的AI不够愿意接受，引发担忧：仅使用聚合数据进行校准可能导致政策偏离利益相关者的偏好。我们的研究进一步揭示了申报者和非申报者之间存在不对称的洞察。后者持续高估申报者愿意接受速度-准确性权衡的程度，即使在以金钱奖励为准确视角取向的情况下亦然。这表明，尽管虽然出于良好意图，但受影响福利AI系统直接利益相关者意见主导的政策决策可能忽略了实际偏好。我们的发现凸显了在权力不平衡的语境中，需要利益相关者参与和透明沟通来设计和部署这些系统的必要性。