助力还是阻碍？评估公平性指标与算法在共识排序可视化中的影响

对于多个利益相关者提供推荐的应用，公平的共识排序不仅必须确保排序者的偏好得到良好体现，还必须减轻最终结果的 socio-demographic 群体间的不利差异。然而，关于将公平性指标与算法可视化并集成到人在回路系统中以辅助决策者的价值或挑战，目前缺乏实证指导。在这项工作中，我们设计了一项研究来分析集成此类基于公平性指标的可视化与算法的有效性。我们通过一项基于任务的众包实验进行探索，该实验将一个用于构建共识排序的交互式可视化系统 ConsensusFuse 与一个包含公平性指标视觉编码与公平排序生成算法 FairFuse 的类似系统进行比较。我们分析了在这两种系统中构建公平共识排序时的公平性度量、排序者决策的一致性以及用户交互。在我们包含 200 名参与者的研究中，结果表明，提供这些以公平性为导向的辅助功能会促使用户使其决策与公平性指标对齐，同时最小化手动修正共识排序的繁琐过程。我们讨论了这些结果对下一代以公平性为导向系统设计的影响，以及未来研究的新兴方向。