众包是戏法吗？检测线上平台上的新型欺诈
人工智能
2025-11-04 v1
摘要
众包平台如亚马逊机械 Turk (MTurk) 是研究人员寻求广泛、全球化参与者基础的重要工具。尽管它们流行且已证明有用，但我们提供的证据表明，亚马逊 MTurk 所收集的数据完整性正受到“木偶师”之威胁，这些木偶师显然是控制多个木偶帐户的类人工操作者，能够规避标准注意力检查。如果不加以检测，木偶师及其木偶帐户会破坏在这些平台上收集数据的完整性。本文调查了来自两项亚马逊 MTurk 研究的数据，发现相当比例的帐户（33%至56.4%）可能是木偶帐户。我们的发现凸显了采用多层次策略来确保众包平台数据完整性的重要性。为了检测此类欺诈，我们讨论了针对木偶帐户和机器人（具有不同程度的 sophistication，例如采用人工智能）的潜在对策。单一实体（或木偶师）手动控制多个帐户的問題可能存在于其他众包平台；因此，其检测可能具有更广泛的应用。虽然我们的发现表明需要重新评估众包数据的质量，但许多先前的研究仍可能有效，特别是那些具有稳健实验设计的研究。然而，木偶帐户的存在可能对某些研究的假零结果产生了贡献，表明某些未发表的工作可能值得重新访问以采取有效的木偶检测策略。
引用
@article{arxiv.2511.00194,
title = {Incremental Selection of Most-Filtering Conjectures and Proofs of the Selected Conjectures},
author = {Jovial Cheukam Ngouonou and Ramiz Gindullin and Claude-Guy Quimper and Nicolas Beldiceanu and Remi Douence},
journal= {arXiv preprint arXiv:2511.00194},
year = {2025}
}