中文

关于人类对机器学习模型解释与预测的预判及机器学习模型自身的预测:以欺骗检测为例

人工智能 2019-01-10 v4 计算与语言 计算机与社会 物理与社会 机器学习

摘要

在涉及伦理与法律关切的关键任务中,人类是最终决策者,从再犯预测、医学诊断到打击假新闻。尽管机器学习模型有时能在这些任务中取得令人印象深刻的性能,但这些任务不宜完全自动化。为实现机器学习在改善人类决策方面的潜力,理解机器学习模型的辅助如何影响人类表现与人类能动性至关重要。本文中,我们以欺骗检测为试验台,研究如何利用机器学习模型的解释与预测来改善人类表现,同时保留人类能动性。我们提出介于完全人类能动性与完全自动化之间的谱系,并沿该谱系开发逐步增强机器预测影响的 varying 辅助水平。我们发现,在不显示预测标签时,仅解释可轻微改善人类在最终任务中的表现。相较之下,显示预测标签极大改善人类表现(相对改善 >20%),并可通过明确提示机器高性能而进一步改善。有趣的是,当显示预测标签时,机器预测的解释所诱导的准确度水平与明确陈述机器高性能相似。我们的结果展示了人类表现与人类能动性之间的权衡,并表明机器预测的解释可调节该权衡。

关键词

引用

@article{arxiv.1811.07901,
  title  = {On Human Predictions with Explanations and Predictions of Machine Learning Models: A Case Study on Deception Detection},
  author = {Vivian Lai and Chenhao Tan},
  journal= {arXiv preprint arXiv:1811.07901},
  year   = {2019}
}

备注

17 pages, 19 figures, in Proceedings of ACM FAT* 2019, dataset & demo available at https://deception.machineintheloop.com