面向批判性使用的培训：学习将 AI 预测相对于人类知识进行定位
人机交互
2023-08-31 v1 人工智能
机器学习
摘要
越来越多研究探索如何支持人类更好地利用基于 AI 的决策辅助，包括通过培训与入职引导。现有研究聚焦于可通过对每个决策与干净映射至 AI 预测目标及人类决策者目标的基本真值标签比较来评估“恰当依赖”的决策任务。然而，该假设在今日部署 AI 工具的许多现实场景（如社会工作、刑事司法与医疗）中并不成立。本文引入一种以过程为导向的恰当依赖概念，称为批判性使用，其核心是人类将 AI 预测相对于其独有而 AI 模型无法获取的知识进行定位的能力。为探索培训如何支持批判性使用，我们在复杂社会决策场景——儿童虐待筛查中开展随机在线实验。我们发现，通过在此场景中为参与者提供加速的、低风险的 AI 辅助决策实践机会，新手逐渐展现出类似经验工作者的与 AI 分歧模式。对参与者 AI 辅助决策解释的定性考察揭示，他们利用了 AI 模型无法获取的定性案例叙述，以学习何时（不）依赖 AI 预测。我们的发现为现实世界 AI 辅助决策培训的研究与设计提出了新问题。
引用
@article{arxiv.2308.15700,
title = {Training Towards Critical Use: Learning to Situate AI Predictions Relative to Human Knowledge},
author = {Anna Kawakami and Luke Guerdan and Yanghuidi Cheng and Matthew Lee and Scott Carter and Nikos Arechiga and Kate Glazko and Haiyi Zhu and Kenneth Holstein},
journal= {arXiv preprint arXiv:2308.15700},
year = {2023}
}