检测人工智能对在线问卷的污染
人机交互
2024-02-02 v1 人工智能
摘要
利用众包平台招募参与者的在线问卷因其易用与低成本已十分普遍。基于人工智能（AI）的大语言模型（LLM）使恶意行为者轻易自动填写在线表单，包括为开放式任务生成有意义文本。这些技术进步威胁到使用在线问卷的研究的数据质量。本研究测试了人类与自动 AI 检测系统能否检测出 AI 为在线研究生成的文本。虽然人类能以高于随机水平（76% 准确率）正确识别文本作者身份，其表现仍低于确保满意数据质量所需。研究者目前不得不依赖恶意行为者的漠然，才能成功将开放式回答作为保障数据质量的有用工具。自动 AI 检测系统目前完全不可用。若 AI 在提交回答中过于泛滥，则检测欺诈提交的成本将超过在线问卷的收益。单项注意力检查将不再是保障良好数据质量的充足工具。该问题只能由众包平台系统性解决。它们不能依赖自动 AI 检测系统，且尚不清楚如何为其付费客户确保数据质量。
引用
@article{arxiv.2308.07499,
title = {Detecting The Corruption Of Online Questionnaires By Artificial Intelligence},
author = {Benjamin Lebrun and Sharon Temtsin and Andrew Vonasch and Christoph Bartneck},
journal= {arXiv preprint arXiv:2308.07499},
year = {2024}
}