利用工作流记录实现可信的癫痫发作 onset 检测
机器学习
2023-06-16 v1 人工智能
信号处理
摘要
部署医疗健康 AI 模型的一大障碍是其可信性。可信性的一种体现是模型在不同子组上的鲁棒性：尽管现有模型在整体指标上可能达到专家级表现，但它们常依赖非因果特征，从而在隐藏子组中出错。为向基于 EEG 的可信癫痫发作 onset 检测迈进，我们提出利用医疗人员在常规临床工作流中产生的标注——我们称之为工作流记录（workflow notes）——其包含除 seizure 外的多种事件描述。利用工作流记录，我们首先表明，通过将训练数据规模扩大至前所未有的 68,920 个 EEG 小时，癫痫发作 onset 检测性能相比依赖带昂贵人工金标准标签的较小训练集显著提升（+12.3 个 AUROC 点）。其次，我们揭示我们的二分类癫痫发作 onset 检测模型在临床相关子组上表现不佳（例如，儿科与成人之间差距达 6.5 个 AUROC 点），且相较于任意 EEG 片段，在显示非癫痫样异常的 EEG 片段上假阳性显著更高（+19 个 FPR 点）。为提升模型对隐藏子组的鲁棒性，我们训练了一个多标签模型，对除 seizure 外的 26 种属性（如棘波、慢波和运动伪影）进行分类。我们发现，我们的多标签模型显著提升了整体癫痫发作 onset 检测性能（+5.9 个 AUROC 点），同时大幅改善子组表现（最高 +8.3 个 AUROC 点），并将非癫痫样异常上的假阳性降低 8 个 FPR 点。最后，我们提出一种基于每 24 个 EEG 小时假阳性的临床效用指标，并发现我们的多标签模型在不同临床环境下将该临床效用指标提升了 2 倍。
引用
@article{arxiv.2306.08728,
title = {Towards trustworthy seizure onset detection using workflow notes},
author = {Khaled Saab and Siyi Tang and Mohamed Taha and Christopher Lee-Messer and Christopher Ré and Daniel Rubin},
journal= {arXiv preprint arXiv:2306.08728},
year = {2023}
}