谁先决策？人机工作流对临床影像决策的影响
人机交互
2022-05-20 v1 人工智能
摘要
在AI技术的实际部署中，必须考量支撑人机协作的设计与机制细节。AI辅助人类决策的交互设计的一个关键方面，是在更大决策工作流中关于AI推断的呈现与排序策略。我们对于在人工审阅当前诊断任务之前 versus 之后提供AI推断所产生的影响知之甚少。我们探究了在放射科诊断会话开始时提供AI辅助，与在放射科医生作出初步决策后提供AI辅助的效应。我们开展了一项用户研究，19名兽医放射科医生借助AI工具识别患者X射线图像中的放射学发现。我们采用两种工作流配置来分析（i）锚定效应，（ii）人机团队诊断绩效与一致性，（iii）决策耗时与信心，以及（iv）AI的感知有用性。我们发现，被要求在审阅AI推断前先登记初步响应的参与者较不可能同意AI，无论建议是否准确；且在与AI不一致时，较不可能寻求同事的第二次意见。这些参与者还报告AI建议的有用性较低。令人惊讶的是，要求在呈现AI推断前对病例作出初步决策并未延长参与者完成任务的时间。该研究为人机闭环系统中临床AI工具的部署提供了可推广且可操作的洞见，并引入了研究人机协作替代设计的方法论。我们将实验平台开源，以促进未来关于替代设计对人机工作流影响的研究。
引用
@article{arxiv.2205.09696,
title = {Who Goes First? Influences of Human-AI Workflow on Decision Making in Clinical Imaging},
author = {Riccardo Fogliato and Shreya Chappidi and Matthew Lungren and Michael Fitzke and Mark Parkinson and Diane Wilson and Paul Fisher and Eric Horvitz and Kori Inkpen and Besmira Nushi},
journal= {arXiv preprint arXiv:2205.09696},
year = {2022}
}
备注
Accepted at ACM Conference on Fairness, Accountability, and Transparency (FAccT), 2022