使用 Amazon Mechanical Turk 进行研究的隐性成本
人机交互
2022-04-04 v4 计算机与社会
摘要
在本研究中，我们调查了通过 Amazon Mechanical Turk (MTurk) 招募的参与者所表现出的注意力情况，从而发现该平台顶尖众包工作者（被归类为“Master”、‘Approval Rate’为 98% 或更高、且‘Number of HITS approved’值为 1,000 或更高者）中存在显著的不注意力现象。共有 564 名来自美国的个体参与了我们的实验。他们被要求阅读描述四种假设技术产品之一的小品文，然后完成相关调查。我们使用了三种注意力检查形式（逻辑、诚实与时间）来评估注意力。通过此实验，我们确定共有 126 名（22.3%）参与者未能通过三种注意力检查形式中的至少一种，其中大多数（94 名）未通过诚实检查——其次是逻辑检查（31 名）与时间检查（27 名）。因此我们确认，即便在最为精英的 MTurk 工作者中也存在显著的不注意力水平。本研究在结论中重申，无论根据 MTurk 的‘Master’、‘Approval Rate’与‘Number of HITS approved’等标准 presumed 参与者质量是否较高，都需要多种精心设计的注意力检查形式。此外，我们建议研究人员调整其研究方案，以考量应对参与者不注意力所需的努力与成本。
引用
@article{arxiv.2101.04459,
title = {The Hidden Cost of Using Amazon Mechanical Turk for Research},
author = {Antonios Saravanos and Stavros Zervoudakis and Dongnanzi Zheng and Neil Stott and Bohdan Hawryluk and Donatella Delfino},
journal= {arXiv preprint arXiv:2101.04459},
year = {2022}
}
备注
19 pages