EEG事件自动分类的客观评价指标

在涉及序列数据的生物医学领域中，机器学习算法的评估缺乏标准化。常见的定量标量评价指标如灵敏度和特异度，往往会根据应用需求而产生误导。评价指标最终必须反映用户需求，同时又需足够敏感以指导算法开发。在临床应用里使用自动事件检测软件的重症监护临床医生的反馈极为明确：低误报率（通常以每24小时错误数计）是用户接受度的唯一最重要标准。尽管单一指标往往不如在一系列工作条件下考察性能来得有洞察力，但仍需要一个单一的标量优值。在本文中，我们讨论了现有指标在癫痫检测任务中的不足，并提出了若干能提供更为均衡性能视图的新指标。我们基于TUH EEG Corpus在癫痫检测任务上展示了这些指标。我们表明，两个有前景的指标是借鉴自口语术语检测文献的基于实际术语加权值（Actual Term-Weighted Value, ATWV）的度量，以及一个新指标——时间对齐事件评分（Time-Aligned Event Scoring, TAES），该指标考虑了假设与参考标注的时间对齐。我们还表明，基于深度学习的最先进技术在性能上虽令人印象深刻，但在满足非常严格的用户接受标准之前仍需要显著改进。