人类判断如何损害自动欺骗检测性能
计算与语言
2020-03-31 v1 人机交互
摘要
背景:欺骗检测是安全从业者普遍面临的问题。由于需要更大规模的方法,使用机器学习的自动化方法已获得关注。然而,检测性能仍意味着可观的错误率。其他领域的研究表明,人机混合集成可能在欺骗检测任务中提供可行路径。方法:我们收集了关于参与者自传式意图的真实与欺骗回答语料库(n=1640),并测试了有监督机器学习与人类判断的结合是否能提高欺骗检测准确率。人类判断者看到自动可信度判断对真实与欺骗陈述的输出结果。他们可以完全推翻它(混合-推翻条件)或在给定边界内调整它(混合-调整条件)。结果:数据表明,在两种混合条件下,人类判断均未做出有意义的贡献。孤立的机器学习以 69% 的总体准确率识别说真话者与说谎者。通过混合-推翻决策的人类参与将准确率拉回随机水平。混合-调整条件未提升欺骗检测性能。人类的决策策略表明,真实偏见——假定对方在说真话的倾向——可以解释这种有害效应。结论:当前研究不支持人类能有意义地提升机器学习系统欺骗检测性能的观点。
引用
@article{arxiv.2003.13316,
title = {How human judgment impairs automated deception detection performance},
author = {Bennett Kleinberg and Bruno Verschuere},
journal= {arXiv preprint arXiv:2003.13316},
year = {2020}
}