利用统计过程控制进行分布外检测与数据漂移监控
人工智能
2024-02-14 v1 机器学习
图像与视频处理
摘要
背景：机器学习（ML）方法在处理偏离其训练分布的数据时往往会失效。这对于临床环境中的 ML 赋能设备而言是一个重大关切，因为数据漂移可能导致意外的性能表现，从而危及患者安全。方法：我们提出了一种用于分布外（OOD）检测和数据漂移监控的 ML 赋能统计过程控制（SPC）框架。SPC 的优势在于能够以可视化和统计方式突出显示与预期分布的偏差。为了展示所提框架在监控放射影像数据漂移方面的效用，我们研究了不同的设计选择，包括特征表示提取方法、漂移量化以及 SPC 参数选择。结果：我们证明了该框架在两项任务中的有效性：1）区分轴向与非轴向计算机断层扫描（CT）图像；2）将胸部 X 光（CXR）与其他模态分离。对于这两项任务，我们在检测 OOD 输入方面均取得了高准确率，CT 为 0.913，CXR 为 0.995；灵敏度分别为 CT 0.980 和 CXR 0.984。我们的框架还擅长监控数据流并识别漂移发生的时间。在包含 100 例每日 CXR 病例的模拟中，我们在两天内检测到 OOD 输入百分比从 0-1% 漂移到 3-5%，同时保持了低假阳性率。通过额外的实验结果，我们证明了该框架的数据无关性及其对底层模型结构的独立性。结论：我们提出了一种对数据、模态和模型均无关的 OOD 检测与漂移监控框架。该框架可定制，并可适应特定应用。
引用
@article{arxiv.2402.08088,
title = {Out-of-Distribution Detection and Data Drift Monitoring using Statistical Process Control},
author = {Ghada Zamzmi and Kesavan Venkatesh and Brandon Nelson and Smriti Prathapan and Paul H. Yi and Berkman Sahiner and Jana G. Delfino},
journal= {arXiv preprint arXiv:2402.08088},
year = {2024}
}