我们能信任在线众包工作者吗?虚拟智能体偏好测试中在线与离线参与者的比较
人机交互
2020-10-26 v2 多媒体
摘要
开展用户研究是许多科学领域的关键组成部分。虽然某些研究要求参与者亲身到场,但其他研究可同时在实体(如实验室)与在线(如众包)环境下进行。邀请参与者到实验室可能耗时且后勤困难,更不用说有时研究小组可能因例如疫情而无法进行实验室实验。因此,Amazon Mechanical Turk (AMT) 或 Prolific 等众包平台可作为开展某些实验(如评估虚拟智能体)的合适替代方案。尽管先前研究考察了众包平台用于实验的情况,但对于感知研究中结果是否可靠仍存在不确定性。在此我们复现了一项先前实验,其中参与者评估了虚拟智能体的手势生成模型。实验在三个参与者群体中进行——实验室、Prolific 和 AMT——实验室参与者与 Prolific 平台具有相似的人口统计特征。我们的结果显示,三个参与者群体在对手势生成模型的评价及其可靠性评分方面没有差异。结果表明,在线平台可成功用于此类感知评估。
引用
@article{arxiv.2009.10760,
title = {Can we trust online crowdworkers? Comparing online and offline participants in a preference test of virtual agents},
author = {Patrik Jonell and Taras Kucherenko and Ilaria Torre and Jonas Beskow},
journal= {arXiv preprint arXiv:2009.10760},
year = {2020}
}
备注
Patrik Jonell and Taras Kucherenko contributed equally to this work. Published at the Proceedings of the 20th ACM International Conference on Intelligent Virtual Agent. 8 pages, 7 figures