论选择性AI预测的局限性：一项临床决策案例研究
人机交互
2025-08-12 v1 人工智能
摘要
人工智能（AI）有潜力增强人类决策。然而，即使是高性能模型，在部署时也可能产生不准确的预测。这些不准确性，加上人类过度依赖AI预测的自动化偏见，可能导致更糟糕的决策。选择性预测，即向用户隐藏潜在不可靠的模型预测，已被提出作为一种解决方案。这种方法假设，当AI放弃预测并告知用户时，人类会像没有AI参与时一样做出决策。为了检验这一假设，我们研究了临床背景下选择性预测对人类决策的影响。我们对259名负责诊断和治疗住院患者的临床医生进行了一项用户研究。我们比较了他们在没有任何AI参与时的基线表现与在有和没有选择性预测的AI辅助下的准确性。我们的研究结果表明，选择性预测在决策准确性方面减轻了不准确AI的负面影响。与无AI辅助相比，当看到不准确的AI预测时，临床医生的准确性下降（66% [95% CI: 56%-75%] vs. 56% [95% CI: 46%-66%]），但在选择性预测下得以恢复（64% [95% CI: 54%-73%]）。然而，虽然选择性预测几乎维持了整体准确性，但我们的结果表明它改变了错误模式：当被告知AI放弃预测时，与完全没有AI输入相比，临床医生会诊断不足（漏诊增加18%）和治疗不足（漏治增加35%）。我们的发现强调了在人-AI系统中，对关于人类如何与AI互动的假设进行实证验证的重要性。
引用
@article{arxiv.2508.07617,
title = {On the Limits of Selective AI Prediction: A Case Study in Clinical Decision Making},
author = {Sarah Jabbour and David Fouhey and Nikola Banovic and Stephanie D. Shepard and Ella Kazerooni and Michael W. Sjoding and Jenna Wiens},
journal= {arXiv preprint arXiv:2508.07617},
year = {2025}
}
备注
14 pages, 10 figures, 5 tables