无 ground truth 下的 LLM 污染众包数据评估
人工智能
2025-11-07 v2 计算机科学与博弈论
人机交互
摘要
生成式 AI 的近期成功凸显了高质量人类反馈在构建可信赖 AI 系统中的关键作用。然而，大语言模型（LLM）被众包工作者日益广泛地使用，构成重大挑战：旨在反映人类输入的数据集可能被 LLM 生成的响应所捐赠。现有的 LLM 检测方法通常依赖高维训练数据如文本，难以适用于诸如多选标注等标注任务。在本工作中，我们研究了在众包数据中应用同行预测（peer prediction）的潜力，以无需 ground truth 来缓解 LLM 辅助作弊问题，专注于标注任务。我们的 метод 在衡量工作人员响应之间的相关性时，条件化于（可用作请求方的）子集 LLM 生成标签。基于前期研究，我们提出一种具理论保证的训练自由评分机制，适用于考虑 LLM 串通的众包模型。我们确立了本方法有效性的条件，并在真实世界众包数据集上实证表明其在检测低效作弊方面的鲁健性。
引用
@article{arxiv.2506.06991,
title = {Evaluating LLM-Contaminated Crowdsourcing Data Without Ground Truth},
author = {Yichi Zhang and Jinlong Pang and Zhaowei Zhu and Yang Liu},
journal= {arXiv preprint arXiv:2506.06991},
year = {2025}
}
备注
32 pages, 7 figures