领域专家能否恰当地依赖 AI？一项关于 AI 辅助前列腺癌 MRI 诊断的案例研究
图像与视频处理
2025-02-07 v1 人工智能
计算机视觉与模式识别
计算机与社会
人机交互
机器学习
摘要
尽管人们对人类-AI 决策的兴趣日益增长，但涉及领域专家的实验研究仍然很少，这主要是由于与领域专家合作的复杂性以及建立真实实验的挑战。在这项工作中，我们与放射科医生在前列腺癌 MRI 图像诊断方面进行了深入合作。基于现有的前列腺癌诊断教学工具，我们开发了一个界面，并进行了两项实验，以研究 AI 辅助和性能反馈如何塑造领域专家的决策。在研究 1 中，临床医生被要求提供初步诊断（人类），然后查看 AI 的预测，并随后最终确定他们的决定（人类-AI 团队）。在研究 2 中（经过记忆洗脱期后），相同的参与者首先收到了来自研究 1 的汇总性能统计数据，特别是他们自己的性能、AI 的性能以及他们人类-AI 团队的性能，然后在做出诊断之前直接查看 AI 的预测（即没有独立的初步诊断）。这两种工作流程代表了临床 AI 工具在实践中可能使用的现实方式，其中第二项研究模拟了医生可以根据先前的性能反馈调整他们对 AI 的依赖和信任的场景。我们的研究结果表明，虽然人类-AI 团队始终优于单独的人类，但由于依赖不足，它们仍然表现不如 AI，这与先前对众包工作者的研究类似。向临床医生提供性能反馈并没有显著提高人类-AI 团队的性能，尽管提前显示 AI 决策会促使人们更多地遵循 AI。同时，我们观察到人类-AI 团队的集成可以优于单独的 AI，这为人类-AI 协作指明了有希望的方向。
引用
@article{arxiv.2502.03482,
title = {Can Domain Experts Rely on AI Appropriately? A Case Study on AI-Assisted Prostate Cancer MRI Diagnosis},
author = {Chacha Chen and Han Liu and Jiamin Yang and Benjamin M. Mervak and Bora Kalaycioglu and Grace Lee and Emre Cakmakli and Matteo Bonatti and Sridhar Pudu and Osman Kahraman and Gul Gizem Pamuk and Aytekin Oto and Aritrick Chatterjee and Chenhao Tan},
journal= {arXiv preprint arXiv:2502.03482},
year = {2025}
}