CheXstray：用于医学影像AI漂移检测的实时多模态数据一致性监控

Arjun Soin; Jameson Merkow; Jin Long; Joseph Paul Cohen; Smitha Saligrama; Stephen Kaiser; Steven Borg; Ivan Tarapov; Matthew P Lungren

CheXstray：用于医学影像AI漂移检测的实时多模态数据一致性监控

图像与视频处理 2022-03-21 v2 计算机视觉与模式识别机器学习

作者: Arjun Soin , Jameson Merkow , Jin Long , Joseph Paul Cohen , Smitha Saligrama , Stephen Kaiser , Steven Borg , Ivan Tarapov , Matthew P Lungren

在 arXiv 上查看 ↗ PDF ↗

摘要

临床人工智能(AI)应用正在全球快速扩展，并有可能影响医疗实践的各个领域。医学影像应用构成了已获批临床AI应用的绝大部分。尽管医疗系统急于采用AI解决方案，一个根本问题仍然存在：\textit{AI模型投入生产后会发生什么？}我们使用CheXpert和PadChest公开数据集构建并测试了一个医学影像AI漂移监控工作流，以在无同期真值的情况下跟踪数据与模型漂移。我们在多个实验中模拟漂移，将模型性能与我们新颖的多模态漂移度量进行比较，该度量使用DICOM元数据、来自变分自编码器(VAE)的图像外观表示以及模型输出概率作为输入。通过实验，我们展示了使用相关元数据、预测概率和VAE潜在表示中的无监督分布偏移作为真值性能的强代理。我们的关键贡献包括(1)包含VAE和领域特定统计方法使用的医学影像漂移检测概念验证，(2)度量和统一漂移指标的多模态方法，(3)关于观察已部署医学影像AI的挑战与解决方案的新见解，以及(4)创建开源工具使他人能轻松运行自己的工作流和场景。本工作具有重要意义。它解决了动态医疗环境中常见的连续医学影像AI模型监控中令人担忧的转化鸿沟。

关键词

医学影像AI 漂移检测多模态一致性变分自编码器 CheXpert PadChest 模型监控

引用

@article{arxiv.2202.02833,
  title  = {CheXstray: Real-time Multi-Modal Data Concordance for Drift Detection in Medical Imaging AI},
  author = {Arjun Soin and Jameson Merkow and Jin Long and Joseph Paul Cohen and Smitha Saligrama and Stephen Kaiser and Steven Borg and Ivan Tarapov and Matthew P Lungren},
  journal= {arXiv preprint arXiv:2202.02833},
  year   = {2022}
}

备注

Added code url

CheXstray：用于医学影像AI漂移检测的实时多模态数据一致性监控

摘要

关键词

引用

备注

相关论文