探索异常模型输入与输出警报如何影响医疗中的决策

人机交互（human-AI interaction）领域的一个重要目标是帮助用户更恰当地信任 AI 系统的决策。用户尤其可能从更恰当的信任中获益的情形是：当 AI 接收到异常输入或提供异常输出时。据我们所知，这是首项旨在理解异常警报如何有助于对 AI 的恰当信任的工作。在一项由 4 名放射科医生和 4 名其他医生参与的 formative 混合方法研究中，我们探讨了针对异常输入、极高与极低置信度以及异常显著图解释的 AI 警报如何影响用户在使用用于评估肺炎胸部 X 光片的 AI 临床决策支持系统（CDSS）原型时的体验。我们发现的证据表明，四类异常警报受到非放射科医生的青睐，而高置信度警报受到放射科医生与非放射科医生双方的青睐。在后续用户研究中，我们调查了高、低置信度警报如何影响 33 名放射科医生在使用 AI CDSS 原型时的准确性从而对其恰当信任的影响。我们观察到这些警报并未改善用户的准确性或体验，并讨论了可能的原因。