Judgment Sieve：通过针对模糊性与分歧的干预降低群体判断的不确定性
人机交互
2023-10-10 v1
摘要
当群体被赋予做出判断的任务时，不确定性问题常常出现。现有降低不确定性的方法通常侧重于迭代地改进整体任务指令的明确性。然而，不确定性可能来自多种源头，例如由于上下文有限导致被判断项的模糊性，或由于参与者视角不同及任务界定不足导致的分歧。若干预未针对正确的不确定性来源，一刀切的干预可能无效。在本文中，我们引入一种新工作流 Judgment Sieve，以针对性方式降低涉及群体判断任务中的不确定性。通过在初始判断引出阶段利用区分不同不确定性度量的方法，我们随后可选择针对性干预（添加上下文或审议）以最有效地降低每个被判断项的不确定性。我们在两项任务上测试我们的方法：词对相似度评分与在线评论毒性，表明针对性干预降低了最不确定案例的不确定性。在前 10% 的案例中，我们看到两项任务的模糊性分别降低 21.4% 和 25.7%，分歧分别降低 22.2% 和 11.2%。我们还通过仿真发现，与统一干预方法相比，我们的针对性方法降低了两种不确定性来源的平均不确定性分数，而统一方法中一种来源平均不确定性的降低伴随着另一种来源的增加。
引用
@article{arxiv.2305.01615,
title = {Judgment Sieve: Reducing Uncertainty in Group Judgments through Interventions Targeting Ambiguity versus Disagreement},
author = {Quan Ze Chen and Amy X. Zhang},
journal= {arXiv preprint arXiv:2305.01615},
year = {2023}
}