呈现风格对人机协同算法偏差检测的影响

尽管决策者已开始采用机器学习，但机器学习模型可能做出对某些人口统计群体存在偏见的预测。半自动偏差检测工具常使用推荐列表或视觉提示来呈现自动检测到的偏差报告。然而，对于在何种场景下使用何种呈现风格缺乏指导。我们开展了一项有 16 名参与者的小型实验室研究，以调查呈现风格如何影响用户在审阅偏差报告时的行为。参与者使用了带推荐列表的原型与带视觉提示的原型进行偏差检测。我们发现参与者常希望考察未被自动检测为偏差的性能度量。然而，在使用带推荐列表的原型时，他们往往较少考虑此类度量。基于这些发现，我们提出以信息负载与完备性作为刻画偏差检测任务的两个轴，并阐释如何采用这两个轴来推理何时使用推荐列表或视觉提示。